نشأ بأصبهان وكتب بها الحديث ثم انتقل إلى بغداد فسكنها وروى بها عن عمه أَحمد بن عَمرو بن أبي عاصم كتاب الآحاد والمثاني حدث به عنه جعفر الخلدي.
وحدث أَبو علي أيضا عن أسيد بن عاصم وعمران بن عَبد الرحيم الأصبهانيين، وعن أَحمد بن يَحيَى بن مالك السوسي وأَحمد بن عَبد العزيز بن معاوية اليمامي وسهل بن عَبد الله بن الفرخان الزاهد.