تُوفي والده وهو صغير وعمره أربع سنوات، ووالدته تُوفيت قبل ذلك، لكن لم يُتعرف على سنه على وجه التحديد حينما تُوفيت والدته، ولكن معنى ذلك أنها تُوفيت وعمره أقل من أربع سنوات، فنشأ رحمه الله يتيمًا، لكن ورث له والده مالا نفعه حينما كبر، وهذا المال أوصى عليه أبوه رحمه الله رجلين يثق بهما، أحدهما الخروبي والآخر ابن القطان، فقاما بالإنفاق على الحافظ ابن حجر.
طفولته ، وطلبه العلم:
ظهرت فيه النجابة منذ الصغر رحمه الله ، لذلك رحل وعمره قرابة أحد عشر عامًا، رحل إلى الحجاز، وكان قد حفظ القرآن وعمره تسع سنوات، وهذا دليلٌ على نجابته رحمه الله منذ الصغر .
حينما رحل إلى الحجاز، أمَّ المصلين في المسجد الحرام وعمره اثنا عشر عامًا، وهذا دليل أيضًا على نبوغه، وعلى أن مشايخه الذين في مكة تفرسوا فيه وعرفوا فيه النجابة، فلذلك قدموه ليصلي بهم.
مما يدل على نجابته رحمه الله أنه بدأ بالتأليف في وقتٍ مبكر، فهذا المتن الذي معنا والذي أُعجب به القاصي والداني ألفه وعمره لم يصل بعد إلى أربعين عامًا، كان تأليفه له في قرابة سنة اثني عشر وثمانمائة.
شيوخه:
حرص الحافظ رحمه الله على التلقي عن الشيوخ فرحل إلى البلدان، رحل إلى الحجاز، رحل إلى اليمن، رحل إلى مناطق كثيرة وتلقى فيها عن الشيوخ، وأخذ عن كبار شيوخ عصره، ومن أبرزهم:
الحافظ العراقي رحمه الله، وكذلك ابنه ولي الدين أبو زرعة ابن الحافظ العراقي، فهو حافظٌ ابن حافظ، كذلك أيضًا الحافظ ابن الملقن، فهو من أشياخه، كذلك الحافظ سراج الدين البلقيني صاحب محاسن الاصطلاح، ووفرة من المشايخ الذي كان لهم سيط ومعرفة بفنون شتى، وعلى وجه الخصوص في علم الحديث.
تنويعه في طلب العلم: