فاختار له صحبة يزيد بن معاوية على صحبة عبد الله بن الزبير. ووالله إن عداوة هذا يا أمير المؤمنين لنا جميعا بمنزلة سواء، ولكنه قوى علي بك وضعفت عنك، فتقرب بي إليك، ليظفر منك بما يريد، إذ لم يقدر على مثله منك، وما ينبغي لك أن تسوغه ذلك فيّ، فإنّ معاوية بن أبي سفيان، وهو أبعد نسباً منك إلينا، ذكر يوماً الحسن بن علي فسفّهه فساعده عبد الله بن الزبير على ذلك، فزجره معاوية وانتهره فقال: إنما ساعدتك يا أمير المؤمنين! فقال: إن الحسن لحمي آكله. ولا أوكله.

فقال عبد الله بن مصعب: إن عبد الله بن الزبير طلب أمراً فأدركه. وإن الحسن باع الخلافة من معاوية بالدراهم، أتقول هذا في عبد الله بن الزبير، وهو ابن صفية بنت عبد المطلب؟

فقال يحيى: يا أمير المؤمنين، ما أنصفنا أنْ يفخر علينا بامرأة من نسائنا وامرأة منا، فهلا فخر بهذا على قومه من النوبيات والاساميات والحمديات!

فقال عبد الله بن مصعب: ما تدعون بغيكم علينا وتوثبكم في سلطاننا؟

فرفع يحيى رأسه إليه، ولم يكن يكلمه قبل ذلك، وإنما كان يخاطب الرشيد بجوابه لكلام عبد الله، فقال له: أتوثبنا في سلطانكم؟ ومن أنتم ــ أصلحك الله ــ عرفني فلست أعرفكم؟ فرفع الرشيد رأسه إلى السقف يجيله فيه ليستر ما عراه من الضحك ثم غلب عليه