لما استجاب لي شيخ البلد وتبعه الناس كلهم إلا من ذكرت- أعني العمدة المرفوت وشيخ الطريقة- أصاب هذين الرجلين من الغم والحزن شيء كثير فبعثا إلى الجامع الأزهر ودعيا أحد كبار الأساتذة المعروفين بغزارة العلم وطلاقة اللسان لمناظرتي فجاء الأستاذ الأزهري ونزل في قصر العمدة المرفوت، فجاء أصحابنا وأخبروني بقدومه وقالوا لي: ناظره فستنتصر عليه يقينا فإن الأزهريين ضعفاء في علم السنة والتوحيد ونحن العوام نغلبهم، فقلت لهم: إني أرى في هذه القضية رأيا مخالفا لرأيكم، وهو أنني لا أناظره فأنا حارث وزارع وقد دعوت أهل البلد فاستجابوا لي؟ فليتقدم وليدعهم هو إلى الرجوع إلى الشرك والبدعة فإن رجع معه أحد فأبعده الله ومن تبعه فهو له ومن تبعني فهو لي، والمناظرة تعتريها المشاغبة ثم المضاربة فلا تحق حقا ولا تبطل باطلا فقالوا لي: كلامك هذا يسبب لنا الهزيمة ويصدق قول أعدائنا إنك مغربي حاج ما درست في الأزهر ولا عندك الشهادة العالمية فقلت لهم: صدقوا أنا جاهل ما درست في الأزهر ولا عندي الشهادة العالمية، ولكن هذه المسائل التي أدعو إليها لو جاء شيخ الأزهر ومعه علماء الأزهر كلهم لم يستطيعوا أن ينقضوا منها شيئا غير أنني لا أحب المناظرة ودعوا الأعداء يقولون ما شاءوا، فلم يعجبهم كلامي.

وبقي الأستاذ الأزهري في بيت العمدة خمسة عشر يوما حاول في أثنائها أن يهجم على في الدرس الذي ألقيه كل يوم بعد العصر بالمسجد الجامع فنهاه شيخ البلد وقال له: نحن نثق بهذا الرجل ولا نشك في صحة ما دعانا إليه والله إن فتحت (بقك) أي فمك بكلمة واحدة لآمرن خفيرين أي حارسين يأخذانك إلى محطة السكة الحديدية لأنك تريد أن تحدث تشويشا وفتنة، فبقي شيخ الطريقة وصاحبه العمدة حائرين وفي النهاية عمدا إلى حيلة مكنتهما مما أراد.