نكبه الحاكم بن العزيز العبيدي صاحب مصر وأمر به فقطعت يداه جميعًا لجناية جناها أو تجناها هو عليه، فما ارتاع لما أصابه. وحكي عنه أنه عصب يديه إثر قطعهما وانصرف إلى ديوانه فجلس لخدمته على عادته وقال: إن أمير المؤمنين لم يعزلني وإنما عاقبني لجنايتي! فجعل الناس يعجبون منه، وكان جلدًا حازمًا ضابطًا داهيةً فصيحًا، فلما بلغ ذلك الحاكم استعظمه له، وشرف به لديه، ورق على فظاظته لما نزل به، فرقاه إلى الوزارة، وإنما كان قبل في أحد الدواوين، فوزر له بقية أيامه، ثم لأبنه الظاهر مدة ولايته ثم لأبنه المستنصر ابن الظاهر نحوًا من ثماني سنين.
وأراد المعز بن باديس الصنهاجي صاحب القيروان مكايدته، فجعل يكاتبه