فبدأ الأخذ عن كبار شيوخ بغداد من أمثال : أبي القاسم البغوي - الذي أخذ عنه ثمانمائة جزء - ، ويحيى بن صاعد ، وعبد الله بن سليمان بن الأشعث ، يقول ابن شاهين بشأنهم : ( وكذا كتبت عن ثلاثة من شيوخنا في هذا السن ، فتبركت بهم ، ورجوت أن أكون منهم .
كما سمع في بغداد من : محمد بن سليمان بن الحارث ، ومحمد بن هارون بن المجدر ، ونصر بن القاسم الفرائضي ، ومحمد بن محمد الباغندي ، وأبي ذر الباغندي ، وأبي عبد الله بن محمد بن سليمان المكي وطبقتهم .