ولقد بدأ الحافظ رحمه الله رحلاته وهو في العشرين من عمره تقريبًا، إذ رحل إلى بغداد سنة [٥٦١] ، وإذا عرفت أنهم لم يكونوا يرحلون إلا بعد سماعهم من مشايخ بلدانهم، علمت أنه طلب العلم منذ صغره رحمه الله.
رحل المرة الأولى سنة [٥٦١] ، هو، وابن خاله الشيخ موفق الدين بن قدامة، واستغرقت إقامتهما ببغداد نحو أربع سنوات، وكان الحافظ رحمه الله ميله إلى الحديث، والموفق يريد الفقه، وكان من أثر تلازمهما تفقه الحافظ، وسماع ابن قدامة.
الأولى سنة [٥٦٦] ، وأقام مدة، والثانية سنة [٥٧٠] ، وسمع من السلفي كثرًا، فقد كتب عنه نحوًا من ألف جزء.
وكان قبل رحيله إلى السلفي يحضر مجالس الحديث بدمشق، وكان يحضرها أيضًا الملك نور الدين بن زنكي، وكان إذا أشكل شيء على القارىء، بينه الحافظ، ففقده الملك بعد ذلك، فقال: أين ذاك الشاب؟، فقيل: سافر.