له القدح ويجاهره بالعداوة هو أبو الحسن النباهي قاضي القضاة الذي ضم صوته إلى جماعة المتنكرين لابن الخطيب بل ذهب به الغلو إلى أنه رماه بالزندقة والاستخفاف بشؤون الدين وهي تهمة خطيرة يقع عبؤها على صاحبها إلى يوم الدين!

وأمام هذه الحملات المغرضة نرى ابن الخطيب يعدل عن فكرة الحج، ويفكر في مغادرة الأندلس نهائيا، لاجئا بنفسه إلى المغرب الحبيب الذي كان يعتز بالانتساب إليه باعتباره مأوى المجاهدين ومصدر المقاتلين في سبيل رب العالمين ... ومن ثم لم يتردد في مكاتبة السلطان عبد العزيز بن أبي الحسن المريني ـ ولم تكن إذ ذاك العلاقات بينه وبين الغني بالله على أحسن ما يرام ـ ليعرض عليه القدوم إلى المغرب بقصد الاستيطان والاستقرار، نراه يعمل الحيلة ليحظى بموافقة الغني بالله على أنه يرغب في القيام بجولة تفقدية لأقاليم الجنوب، ثم لم يغتنمها فرصة لعبور البحر عن عزم وسابق إصرار، كما يقولون في جمع من الحشم والأعوان فيصل فجأة إلى المغرب، ويستقر بجوار السلطان عبد العزيز وذلك في الوقت الذي كان هذا الأخير محاصرا لمدينة تلمسان ...

ولم تمض بالطبع إلا أيام قلائل حتى يشيع خبر مغادرته خفية لأرض الوطن، فيصبح الخصوم باللخيانة الكبرى!! ويقولون: «ألم يكن ابن الخطيب حقا من الاستهتار بالعقود التي تجمع الخادم بالمخدوم بحيث سمح لنفسه بمكاتبة الخصم بالضفة الأخرى في شؤون سرية لا تتعلق إلا بمملكة الأندلس .. ألم يسجل بفراره هذا على نفسه ضعف العقيدة والاستخفاف بمصير دولة رمى إليه صاحبها بمقاليدها في يده فأساء التصرف وخابت