ولد بعكبرا في المحرم من سنة خمس وثلاثين وثلاث مِئَة وسمع الحديث على كبر السن من أبي علي بن الصواف وأَحمد بن يوسف بن خلاد وأبي علي الطوماري وحبيب بن الحسن القزاز بن مالك القطيعي ومن بعدهم، وَكان فاضلا يتفقه على مذهب أَحمد بن حنبل ويقرئ القرآن ويعرف الأدب ويقول الشعر كتبت عنه بعكبرا.
سمعت أبا بكر البرقاني وذكر بحضرته أَبو علي بن شهاب فقال: ثِقةٌ أمين.
حدثني عيسى بن أَحمد الهمذاني، قال: قال لي أَبو علي بن شهاب يوما أرني خطك فقد ذكر لي أنك سريع الكتابة فنظر فيه لم يرضه ثم قال لي كسبت في الوراقة خمسة وعشرين ألف درهم راضية قال وكنت أشتري كاغدا بخمسة دراهم فأكتب فيه ديوان المتنبي في ثلاث ليال وأبيعه بمائتي درهم وأقله بمِئَة وخمسين درهما وكذلك كتب الأدب المطلوبة.
سمعت الأزهري يقول أخذ السلطان من تركة ابن شهاب ما قدره ألف دينار سوى ما خلفه من الكروم والعقار، وَكان أوصى بثلث ماله لمتفقهة الحنابلة فلم يعطوا شيئا.
مات ابن شهاب في ليلة النصف من رجب سنة ثمان وعشرين وأربع مِئَة.