يسترق أمره عند هارون ويرده عن أشياء كان يعزم عليها من أذاه ، فكان ميل هارون إلى هشام أحد ما غير قلب يحيى على هشام ، فشيعه عنده وقال له : يا أمير المؤمنين ! إني قد استبطنت أمر هشام ، فإذا هو يزعم أن لله في أرضه إماما غيرك مفروض الطاعة ! قال : سبحان الله ! ! قال : نعم ، ويزعم أنه لو أمره بالخروج لخرج ، وإنما كنا نرى أنه ممن يرى الإلباد بالأرض .
فقال هارون ليحيى : فاجمع عندك المتكلمين وأكون أنا من وراء الستر بيني وبينهم لئلا يفطنوا بي ولا يمتنع كل واحد منهم أن يأتي بأصله لهيبتي .
قال : فوجه يحيى وأشحن المجلس من المتكلمين ، وكان فيهم ضرار بن عمرو وسليمان بن جرير و عبد الله بن يزيد الإباضي ومؤبد بن مؤبد ورأس الجالوت ، قال : فتساءلوا فتكافؤوا وتناظروا وتقاطعوا وتناهوا إلى شاذ من شاذ الكلام ، كل يقول لصاحبه : لم تجب ، ويقول : قد أجبت ، وكان ذلك عن يحيى حيلة عل هشام ، إذ لم يعلم بذلك المجلس ، واغتنم ذلك لعلة كان أصابها هشام بن الحكم .
فلما تناهوا إلى هذا الموضع قال لهم يحيى بن خالد : أترضون فيما بينكم هشاما حكما ؟ قالوا : قد رضينا أيها الوزير ! فأنى لنا به وهو عليل ؟ فقال يحيى : فأنا أوجه إليه ، فأرسله أن يتجشم المشي ، فوجه إليه فأخبره بحضورهم وأنه إنما منعه أن يحضروه أول المجلس إبقاءا عليه من العلة وأن القوم قد اختلفوا في المسائل والأجوبة وتراضوا بك حكما بينهم ، فإن رأيت أن تتفضل وتحمل على نفسك فافعل .
فلما صار الرسول إلى هشام ، قال لي : يا يونس ! قلبي ينكر هذا القول ولست آمن أن يكن هاهنا أمرا لا أقف عليه ، لأن هذا الملعون - يحيى بن خالد - قد تغير علي لأمور شتى ، وقد كنت عزمت إن من الله علي بالخروج من هذه العلة أن أشخص إلى الكوفة وأحرم الكلام بتة وألزم المسجد ليقطع