كان والده قائدًا في جيش خراسان، أما جده فكان واليًا للأمويين في بلدة تسمى (سرخس) تابعة لبلاد خراسان، وحين بلغ أحمد من العمر ثلاث سنوات توفي والده، فنشأ يتيمًا، تكفله أمه وترعاه، وتقوم على تربيته والعناية به، وعاش أحمد عيشة فقيرة، فلم يترك له والده غير منزل ضيق، مما دفعه إلى العمل وهو طفل صغير، فكان يلتقط بقايا الزروع من الحقول بعد استئذان أهلها، وينسج الثياب ويبيعها، ويضطر في بعض الأوقات أن يؤجر نفسه ليحمل أمتعة الناس في الطريق، وكان ذلك عنده أفضل من أن يمد يده إلى غيره.
حفظ أحمد القرآن الكريم، ولما بلغ أربع عشرة سنة، درس اللغة العربية، وتعلم الكتابة، وكان يحب العلم كثيرًا حتى إن أمه كانت تخاف عليه من التعب والمجهود الكبير الذي يبذله في التعلم، وقد حدث ذات يوم أنه أراد أن يخرج للمكان الذي يتعلم فيه الصبية قبل طلوع الفجر، فجذبته أمه من ثوبه، وقالت له: يا أحمد انتظر حتى يستيقظ الناس.
ومضت الأيام حتى بلغ أحمد الخامسة عشرة من عمره فأراد أن يتعلم أحاديث رسول الله -صلى الله عليه وسلم- من كبار العلماء والشيوخ، فلم يترك شيخًا في بغداد إلا وقد استفاد منه، ومن شيوخه: أبو يوسف، وهشيم بن مشير.
وفكَّر أحمد أن يطوف ببلاد المسلمين ليلتقي بكبار علمائها وشيوخها لينقل عنهم الأحاديث التي حفظوها، فزار الكوفة والبصرة، ومكة، والمدينة، واليمن، والشام والعراق وفارس وغيرها من بلاد الإسلام، فكان في رحلاته إذا لم يجد دابة يركبها يمشي حتى تتشقق قدماه ليلتقي بكبار العلماء في هذه البلاد، وظل أحمد طيلة حياته ينتقل من بلد إلى آخر، ليتعلم الحديث حتى أصبح من كبار العلماء.