بأمراء الأمويين فبايعوه وسموه المهدي الوارث للإمامة وكان أبو مسلم معظما يلقاه أبو ليلى القاضي فيقبل يده فنهى أبو ليلى فقال قبل أبو عبيدة يد عمر فقيل شبهته بعمر قال تشبهوني بأبي عبيدة ومن جوده أنه حج في ركبه فأقسم أن لا يوقد غير ناره وقام بمؤونتهم حتى قدم مكة ووقف بمكة خمسمائة وصيف يسقون الناس في المسعى وآخر أمره أنه لما ولى أبو جعفر المنصور بعد أخيه السفاح صدرت من أبي مسلم قضايا غيرت قلبه عليه من ذلك أنه كتب إليه كتابا فبدأ بنفسه وخطب إليه عمته آسية وقد كان في ابتداء دولة المنصور قام عليه ابن أخيه ابن السفاح عبد الله فجهز إليه أبو جعفر أبا مسلم فهزمه وقبض خزانته وما معه فكتب إليه أبو جعفر المنصور احتفظ بما في يديك ولا تضيعه فشق ذلك على أبي مسلم وعزم على خلع المنصور ثم إن المنصور استعطفه ومناه وحفظها له وقال لمسلم بن قتيبة الباهلي ما ترى في أبي مسلم فقال لو كان فيهما آلهة إلا الله لفسدتا فقال حسبك لأذن واعية قيل وقد كان قيل لأبي مسلم أو رؤى له في الملاحم أنه يميت دولة ويحي دولة ويقتل بأرض الروم وكان المنصور برومية منزلا سوى المدائن فنزلها وبنى فيها رومية وقدم أبو مسلم من حجة على المنصور برومية ولم يخطر بباله أنها مقتله بل ذهب ذهنه إلى بلاد الروم فدس المنصور جماعة خلف سريره وقال لهم إذا دخل وعاتبته وضربت يدا على يد فأظهروا له واضربوا عنقه ففعلوا وأنشد حين رآه طريحا :
زعمت أن الكيل لا ينقضي * فاستوف بالكيل أبا مجرم اشرب بكأس كنت تسقى بها * أمر في الحلق من العلقم واختلف في نسب أبي مسلم فقيل من العرب وقيل من العجم وقيل من الأكراد وفي ذلك يقول أبو دلامة :
أبا مجرم ما غير الله نعمة * على عبده حتى يغيرها العبد

180