لما دخل الصليبيون بيت المقدس -شرفه الله تعالى وكرمه وحرره- نزح هذا الإمام المبارك مع أبيه فنزل دمشق وهو ابن ثمان سنين وأقام بدمشق ودخلها مع ابن خالته. من ابن خالته؟.. هو الموفق ابن قدامة الإمام عبد الله بن قدامة -صاحب المغني- فهما ابنا خالة نزلا دمشق سويا، ثم إنهما أقاما بدمشق في قرية تسمى قرية"الجبل"ولما نزل بها هؤلاء المقادسة قيل لها"الصالحية"لما عرف من صلاح هذه الأسرة المباركة من علماء الحنابلة.
ثم نزل رحمه الله تعالى بغداد بصحبة الموفق سنة ستين وخمسمائة فنزل على"عبد القادر الجيلاني"-رحمه الله تعالى- فلم يلبث أن توفي -رحمه الله تعالى- بعد خمسين ليلة فانتقل إلى الإمام الحافظ العلامة ابن الجوزي -عليه رحمه الله- تعالى فأقاما عنده يطلبان العلم.
ثم نزل الحافظ عبد الغني إلى الإسكندرية سنة ست وستين وخمسمائة من الهجرة ثم عاد إلى دمشق ثم رجع إلى الإسكندرية ثم انتقل إلى الجزيرة ثم مر بعد ذلك على بغداد ثم استقر أخيرا في دمشق.
يقول عنه ابن رجب رحمه الله تعالى (كان الحافظ عبد الغني أمير المؤمنين في الحديث) فكانت عنايته إلى الحديث مصروفة وهذا يلحظ من مؤلفاته الكثيرة في علم الحديث .
وقال: (حلف رجل بالطلاق أن الحافظ يحفظ مائة ألف حديث، فلما بلغه قال: لو قال أكثر لصدق) أي لبَرَّ في قسمه هذا وما حنث ، فهو رحمه الله تعالى يخبر عن نفسه أنه كان عالي الهمة في حفظ حديث النبي صلى الله عليه وسلم.
والموفق ابن خالته وزميله في الطلب كان يقول: (كان الحافظ عبد الغني جامعا للعلم والعمل ولقد صحبته في الصبا وفي زمن الطلب فما سابقته إلى خير إلا سبقني إليه -إلا في القليل- قال وكمَّل الله فضيلته.. بماذا؟.. أن ابتلي بأذى أهل البدع وقيامهم عليه فتمت بذلك إمامته) إذ العالم يبلغ رتبة الإمامة في الدين إلا بهذا الصبر وذاك اليقين.