…لما استجاب لي شيخ البلد و تبعه الناس كلهم إلا من ذكرت أعني المرفوت و شيخ الطريقة أصاب هذين الرجلين من الغم الحزن شيء كثير فبعثا إلى الجامع الأزهر و دعيا أحد كبار الأساتذة المعروفين بغزارة العلم و طلاقة اللسان لمناظرتي فجاء الأستاذ الأزهري و نزل في قصر العمدة المرفوت, فجاء أصحابنا و أخبروني بقدومه و قالوا لي: ناظره فستنتصر عليه يقينا فإن الأزهريين ضعفاء في علم السنة و التوحيد و نحن العوام نغلبهم, فقلت لهم: إني أرى في هذه القضية رأيا مخالفا لرأيكم و هو أنني لا أناظره فأنا حارث و زارع و قد دعوت أهل البلد فاستجابوا لي فليتقدم هو و يدعهم إلى الرجوع إلى الشرك و البدعة فإن رجع معه أحد فأبعده الله و من تبعه فهو له و من تبعني فهو لي, و المناظرة تعتريها المشاغبة ثم المضاربة فلا تحق حقا و لا تبطل باطلا فقالوا لي كلامك هذا يسبب لنا الهزيمة و يصدق قول أعدائنا إنك مغربي حاج ما درست في الأزهر و لا عندك الشهادة العالمية فقلت لهم: صدقوا أنا جاهل ما درست في الأزهر و لا عندي الشهادة العالمية, و لكن هذه المسائل التي أدعوا إليها لو جاء شيخ الأزهر و معه علماء الأزهر كلهم لم يستطيعوا أن ينقضوا منها شيئاغير أنني لا أحب المناظرة و دعوا الأعداء يقولون ما شاءوا, فلم يعجبهم كلامي.

…و بقي الأستاذ الأزهري في بيت العمدة خمسة عشر يوما حاول أثناءها أن يهجم علي في الدرس الذي ألقيه كل يوم بعد العصر بالمسجد الجامع فنهاه شيخ البلد و قال له: نحن نثق بهذا الرجل و لا نشك في صحة ما دعانا إليه و الله إن فتحت (بقك) أي فمك بكلمة واحدة لآمرن خفيرين يأخذانك إلى محطة السكة الحديدية لأنك تريد أن تحدث تشويشا و فتنة, فبقي شيخ الطريقة و صاحب العمدة حائرين و في النهاية عمدا إلى حيلة مكنتهما مما أراداه.