في ثاني المحرم صرف قاضي القضاة أحمد بن عبد العزيز بن النعمان عن القضاء. وكانت هذه ولايته الثانية، وله فيه ثلاث عشرة سنة وشهر وأربعة أيام. واستدعي إلى حضرة المستنصر القاضي أبو محمد اليازوري وخلع عليه مكانه في رابع عشره، وقرئ سجله في الديوان؛ وخرج والدولة بأسرها بين يديه. واستناب ابنه الأكبر أبا الحسن محمدًا ولقب بالقاضي الأجل خطير الملك؛ وأقام ابنه الآخر في جهات السيدة.

وشرع الوزير في الإرسال إلى السيدة بأن يستقر ابنه في بابها؛ فامتنعت من ذلك وقالت ما كنت بالذي يستبدل به بوجه ولا سبب. فسقط في يده وقال: أردنا وضعه والله تعالى يريد رفعه. فقال له أبو الفضل: أما إذ جرى الأمر بخلاف ما ظنناه فليس إلا مجاملة الرجل.

وكان أبو محمد اليازوري لا يسلم على الوزير، ولا يجتمعان إلا يومًا في الشهر، يحضر إلى دار الوزير، فإذا حضر إليه احتجب عن كل أحد، وتلقاه قائما، وأجلسه على مخدة، وأعطه من المجاملة فوق ما يؤثره منه؛ وهو مع ذلك يبطن له السوء، ويعمل في التدبير عليه.

وكانت أيام الوزير كلها رديئة لكثرة القبض على الناس، والمصادرات، واصطفاء الأموال، والنفي، ونحو ذلك؛ فكثر الذام له. وكان أيضًا يبطش بمن يبطش به من غير علم الخليفة ولا استئذانه، فتغير خاطر الخليفة عليه، وتكثر منه تغيظه. إلا أن العادة جرت بألا يعترض الوزير فيما يفعله، ويمد له في النفس، ويصبر على ما يكون منه.