به وكان الفضل كثير البر بأبيه حتى في السجن وكان في السجن ينشد قول أبي العتاهية :
إلى الله فيما نالنا نرفع الشكوى * ففي يده كشف المضرة والبلوى خرجنا من الدنيا ونحن من أهلها * فلسنا من الأموات فيها ولا الأحيا إذا جاءنا السجان يوما لحاجة * عجبنا وقلنا جاء هذا من الدنيا ولما بلغ الرشيد خبر موته قال أمري قريب من أمره فكان كذلك انتهى ما قاله ابن الأهدل وقال ابن خلكان كان الفضل بن يحيى بن خالد بن برمك البرمكي من أكثرهم كرما مع كرم البرامكة وسعة جودهم وكان أكرم من أخيه جعفر وأراد وكان جعفر أبلغ في الرسائل والكتابة منه وكان هارون الرشيد قد ولاه الوزارة قبل جعفر وأراد أن ينقلها إلى جعفر فقال لأبيهما يحيى يا أبت وكان يدعوه يا أبت إني أريد أن أجعل الخاتم الذي لأخي الفضل لجعفر وكان يدعو الفضل يا أخي فإنهما متقاربان في المولد وكانت أم الفضل قد أرضعت الرشيد واسمها زبيدة من مولدات المدينة والخيزران أم الرشيد أرضعت الفضل فكانا أخوين من الرضاع وفي ذلك قال مروان بن أبي حفصة يمدح الفضل :
كفى لك فضلا أن أفضل حرة * غذتك بثدي والخليفة واحد لقد زنت يحيى في المشاهد كلها * كما زان يحيى خالدا في المشاهد وقال الرشيد ليحيى قد احتشمت من الكتاب إليه في ذلك فاكفنيه فكتب والده إليه قد أمر أمير المؤمنين بتحويل الخاتم من يمينك إلى شمالك فكتب إليه الفضل قد سمعت ما قاله أمير المؤمنين في أخي وأطعت ما انتقلت عني نعمة صارت إليه ولا غربت عني رتبة طلعت عليه فقال جعفر لله أخي ما أنفس نفسه وأبين دلائل الفضل عليه وأقوى منة العقل فيه وأوسع في البلاغة ذرعه وكان الرشيد قد جعل محمدا في حجر الفضل بن يحيى والمأمون في حجر جعفر فاختص كل واحد منهما بمن في حجره ثم إن الرشيد قلد الفضل عمل

331