وهرب جعفر إلى الأندلس بعد مقتل زيرى بن مناد الصنهاجي ولحق به أخوه يحيى فأقاما مكرمين عند الحكم المستنصر بالله إلى أن سعى بهما إليه فسخط عليهما وأمر بإزعاجهما ومن معهما رجاله من منازلهم إلى المطبق بمدينة الزهراء والنداء عليهم بما كفروا من النعمة وظهر من شهامة يحيي وتجلده في هذه المحنة ما شهر فكان ينادي على نفسه معارضا للمنادى لا بل جزاء من آثر بني مروان على ولد فاطمة بنت رسول الله ونميت في الوقت إلى معد بن إسماعيل وهو في القيروان فأرضته وعطفته على آل علي بن الأندلسي . ثم إن الحكم عفا عنهما بسعي عبد الملك بن القاضي منذر بن سعيد البلوطي صاحب خطة الرد وتلطفه في الاستشفاع بهشام بن الحكم فيهما وهو إذ ذاك طفل فأطلقا من معتقلهما وتراجعت حالهما . وحظي جعفر في أيام هشام عند المنصور محمد بن أبي عامر بعد وفاة الحكم وخص به ثم قتل في طريقه إلى قصر العقاب حسبما يذكر في آخر هذا المجموع بحول الله فرجم الناس فيه الظنون وأظهر ابن أبي عامر الحزن عليه وهو المتهم به .