إذا جُنَّ قاضٍ أو أغمي عليه أو عمي أو ذهبت أهلية اجتهاده و ضبطه بغفلة أو نسيان لم ينفذْ حكمُهُ لانعزاله بهذه الأمور وكذا ينعزل لو فسق فلا ينفذ حكمه في الأصح لوجود الأسباب المانعة من الولاية. وقيل ينفذ حكمه كالإمام والأعظم ولكن هناك فرق كبير فانعزال الإمام الأعظم سبب للفتن والاضطراب وانعدام الأمن وضياع الحقوق.
فإن زالت هذه الأحوال لم تَعُدْ ولايتُهُ في الأصح إلا بتولية جديدة كالوكالة إذا نزعت فلا تعود إلا بتوكيل جديد.
وللإمام عزل قاضٍ ظهر منه خلل أو لم يظهر وهناك أفضل منه أو مثله أو دونه وفي عزله به أو في عزل القاضي الأول وتعيين الثاني بدلًا منه للمسلمين مصلحة كتسكين فتنةٍ لما في تسكين الفتن من خير عميم للمسلمين وإلا يكن في عزله مصلحة فلا يجوز عزله لأن هذا عبث بمصالح الأمة ومنافع الناس ويجب أن يصان الإمام عنه لكن ورغم الإثم على المُتَولِّي والمولِّي ينفذ العزل في الأصح إنفاذًا لأمر الإمام كما أن للقاضي أن يعزل نفسه إن وجد من يقوم بالقضاء غيره في ناحيته وينفذ عزله لنفسه والمذهب أنه لا ينعزل قبل بلوغه خبر عزله لعظم خطر القضاء ويصح حكمه قبل بلوغه خبر عزله وإذا كتب الإمام إليه إذا قرأت كتابي فأنت معزول انعزل وكذا إن قُرِيء عليه في الأصح لأن مقصود الكتاب الإعلام بالعزل لا القراءة للكتاب وقد عُلِمَ المقصود بقراءة الكتاب عليه وينعزل بموته أي بموت القاضي وانعزاله إذا عزله الإمام أو عزل نفسه كلُّ من أُذِنَ له في شغل معين كبيع مال ميت أو غائب أو سماع شهادة في أمر معين والأصح انعزال نائبه المطلق أي نائب القاضي بموت القاضي أو انعزاله إن لم يُؤْذَنْ له في استخلاف لأن المقصود من استخلافه هو معاونته في عمله وقد زالت ولايته فبطلت الحاجة إلى ذلك أو إن قيل له استخلف عن نفسك أو أطلق له الاستخلاف لأن الغرض المعاونة فتبطل ببطلان ولاية من عينه لمعاونته.