وهو وزير، ويرد عليه أبو الحسن النباهي بقوله: «أن ذلك كله من باب المن المذموم ... ؟ ولم يقف عند هذا الحد المرير بل تجرأ عليه حتى رماه بالزندقة ومعلوم أن كل من كان يهتم بالفلسفة ـ وابن الخطيب من بينهم ـ أو كان يتعاطى على التنجيم في الأندلس، كان عرضة للقدح ومخاطرا بنفسه أمام الخاصة والعامة ومن أجل ذلك كان الحاجب محمد بن أبي عامر ـ حرصا منه على توسع دائرة النفوذ الذي كان يسعى لإدراكه في أول حياته السياسية ـ لا يهتم أبدا بالفلسفة ولا يجالس من كان يتعاطاها، أو كان يشتغل بعلم التنجيم وجاء في صك الاتهام الذي حرره النباهي شئ آخر نجمله في قوله: «ولو أنكم سافرتم قبل تقلص ظل السلطة عنكم لكانت الدولة المسلمة امتعاضا لدينها ودنياها قد برزت لطلب الحق منكم فليس يعلم أنه صدر من مثلكم من خدام الدولة ما صدر منكم من العبث بالإبشار والأموال، وهتك الأعراض وإفتاء الأسرار وهتك الأستار واستعمال المكر والحيل والغدر في غالب الأحوال للشريف والمشروف.

ومن الغريب المؤلم حقا أن ينحدر قاضي القضاة إلى هذا الدرك الأسفل من الأسباب في عداوته لابن الخطيب وهو الذي كان ينعته منن قبل بأسمى الصفات وأجمل النعوت والألقاب يوم كان هو الآخر لاجئا إلى المغرب أثناء المحنة السياسية الأولى التي أطاحت بسلطان ابن الخطيب ووزيره مها، بل كان أبو الحسن النباهي ـ وهو يشاطرهما إذ ذاك حياة المنفى ـ ينتمي بمجرد ما تنقشع غيوم المحنة. وتعود المياه إلى حالتها الطبيعية، أن يلتحق من جديد بوظيفته السامية وذلك طبعا بفضل ابن الخطيب وما كان يتمتع به من ثقة ونفوذ لدى ابن أبي عبد الله محمد