بلغ الخديو أن جماعة من الأعيان والتجار مثل محمد باشا السيوفي، وأخيه احمد باشا يجتمعون للسمر بدار المترجم في اغلب الليالي، فيتكلمون في الأمور السياسية ويظهرون أسفهم من وجود الإنجليز بمصر، وموافقة الحكومة لهم فيما يحاولون، وغير ذلك من هذه الشؤون، فحنق الخديو أرسل لمحمد باشا السيوفي بالحضور فلم يجدوه، بل وجدوا أخاه احمد باشا، فحضر إلى القصر وقابل الخديو، فوبخه توبيخًا شديدا وقال له: يخيل إليً أنكم تريدون إعادة الثورة العرابية، فتبرأ من ذاك وحلف أن اجتماعهم لم يكن إلا بقصد السمر واللائتناس، ثم قابل الخديو المترجم في إحدى المقابلات الاعتيادية فلم يهش له كعادته، بل قال له وقت الانصراف: يا حضرة الأستاذ، الأجدر بالإنسان أن يشتغل بأمور نفسه، ولا يتدخل فيما لا يعنيه ويجمع الجمعيات بداره. فلميجبه المترجم إلا بقوله: أطال الله عمر أفندينا وأدام عليه العافية، إنني ضعفت عن حمل أثقال الأزهر، فأساله أن يعفيني منه. ولم يكن الخديو يتوقع منه هذا الكلام، بل كان يظنه يجيب بجواب يصرف المسألة بسلام، فغضب وقال مستفهما: ومن الإفتاء أيضًا؟ فقال له نعم يا أفندينا ومن الإفتاء أيضًا، ثم انصرف.
ولم يكن المترجم ممن يعزب عنهم أن مثل هذا السبب لا يدعو إلى الاستقالة، وخصوصًا أن الخديو صرفه بالحسنى مع من اتهم معه، ولكن كان هناك سبب أقوى أغضب رئيس النظار نوبار باشا الأرمني، وذلك لحادثة رفعت عنها دعوى أمام المحاكم الأهلية، واستدعى الأمر طلب كشف وجه إحدى المخدرات للتحقق منها فامتنعت عن الأسفار محتجة بعدم جوازه في الشريعة، واستفتى المترجم في النازلة، فأفتى بعدم الجواز وشدد في المسألة؛ فشكا رئيس النظار للخديو وأوضح له أن الشيخ أصبح عقبة أمام القضاة معارضًا لأحكام القضاء؛ ويقال انه طلب منه إما أن يقيله من الوزارة، أو يعزل المترجم. فلما قال الخديو للمترجم ما قال تيقن أن المراد عزله فاستقال. فأمر الخديو يوم الثلاثاء 3 ربيع الثاني من السنة المذكورة بإعادة الشيخ محمد الانبابى للأزهر، وإقامة الشيخ محمد البناء للإفتاء.
وبقى المترجم بداره التي على الخليج واشتغل بإصلاح قسم منها تشعث فأعاده إلى رونقه الأول، وصبغ حيطانه بالأصباغ، وهو القسم المطل على الخليج، وصار يمضي وقته بالنظر في شؤونه الخاصة والاشتغال بالعلم، إلى أن أعيد إلى الإفتاء فقط في. . .