كان من أعلم الناس باللغة وأنساب العرب وأخبارها وهو أول من صنف غريب الحديث أخذ عن يونس بن حبيب وأبي عمرو بن العلاء وأسند الحديث إلى هشام بن عروة الإمام الحجة قال يعقوب بن شيبة سمعت ابن المديني يصحح رواية أبي عبيدة وقال الدارقطني لا بأس به إلا أنه يتهم بشيء من رأي الخوارج ويتهم بالإحداث وأخذ عن أبي عبيدة أبو عبيد القاسم بن سلام والأثرم علي بن المغيرة وأبو عثمان المازني وأبو حاتم السجستاني وعمر بن شبة النميري وغيرهم وقال أبو العباس المبرد كان أبو عبيدة عالما بالشعر والغريب والأخبار والنسب وكان الأصمعي أعلم منه بالنحو وكان أعلم من الأصمعي وأبي زيد بالأنساب وكان أبو نواس يتعلم منه ويمدحه ويذم الأصمعي سئل عن الأصمعي يوما فقال بلبل في قفص وسئل عن أبي عبيدة فقال أديم طوي على علم وقال بعضهم كان الطلبة إذا أتوا مجلس الأصمعي اشتروا البعر في سوق الدر وإذا أتوا مجلس أبي عبيدة اشتروا الدر في سوق البعر لأن الأصمعي كان حسن الإنشاد والزخرفة قليل الفائدة وأبو عبيدة بضد ذلك وقال يزيد بن مرة كان أبو عبيدة ما يفتش عن علم

155