لقد نقل ياقوت الحموي بسنده أن أبا حاتم توفي ليلة الجمعة لثماني ليال بقين من شوال سنة أربع و خمسين و ثلاث مئة ( 354 ) للهجرة ، و دفن بعد صلاة الجمعة في الصفة التي ابتناها بمدينة ( بست ) بقرب داره .
بينما ذكر الحافظ أبو عبد الله الغنجار في ( تاريخ بخارى ) أنه مات بسجستان سنة ( 354 ) و تعقبه ياقوت بقوله : ( و قبره ببست معروف يزار إلى الآن ، فإن لم يكن نقل من سجستان إليها بعد الموت ، و إلا فالصواب أنه مات ببست ) . تغمده الله بواسع رحمته ، و أسكنه فسيح جنته .