بينه وبينهم فذكر يومًا عقيدته, فثار عليه القاضي بن زكي الدين, وضياء الدين الدولعي, فعقدا له مجلسًا في قلعة دمشق يوم الاثنين الرابع والعشرين من ذي القعدة سنة 595هوتكلموا معه في مسألة العلو ومسألة النزول ومسألة الحرف والصوت, وطال الكلام في هذه المسائل فظهر غليهم الحافظ بالحجة وهكذا الحق واضح أبلج, فقال له الصارم برغش والي القلعة: (كل هؤلا على ضلال وأنت على الحق ؟ فقال: نعم) , فأرسلوا من كسر منبره في الجامع الذي كان يدرس فيه, ومنعوه من الجلوس فيه, فضاق ذرعًا ورحل إلى بعلبك, لأن الرجل ليس طالب دنيا, وطالب العلم لا يكون في بلد يمنع فيه عن طلب العلم لأنه لا يعيش إلا بالطلب ولا يرتاح إلا بالطلب في طلبه وتدريسه ومن بعلبك رحل إلى مصر, فنزل عند الطحانين, وصار يقرأ الحديث, وصار له حشد وأصحاب, فثار عليه الفقهاء بمصر, وكتبوا إلى الوزير صفي الدين بن شكر فاقرّ نفيه إلى المغرب, غير أن الحافظ عبد الغني مات في مصر قبل وصول كتاب النفي إليه عليه رحمة الله تعالى.
عبادته وتضرعه:
كان لا يضيع شيئًا من وقته, كان يصلي الفجر, ويقرأ القرآن والحديث, ثم يتوضأ ويصلي الكثير من النوافل إلى قبيل الظهر, ثم ينام شيئًا ثم يصلي الظهر ويقبل على التسميع, تسميع المتون, والتسبيح إلى صلاة العصر فيصليها, ويتابع ما كان عليه حتى الغروب, إن كان صائمًا أفطر وصلى المغرب, وينتقل إلى العشاء فيصليها وينام إلى نصف الليل, ثم يستيقظ فيتوضأ ويصلي إلى قبيل الفجر فينام قليلًا, ثم يستيقظ لصلاة الفجر, وهذه عبادته عليه رحمة الله.
شيوخه:
أخذ العلم عن الشيخ أحمد بن محمد بن قدامة المقدسي, والشيخ عبد القادر الجيلاني, وهبة الله ابن هلال, وأبي ظاهر السفلي في الإسكندرية, وأقام عنده ثلاثة أعوام وكتب عنه الكثير, وغيرهم.
تلامذته: