قال أبو عمر والجيزي وثقل مكانه على ابن أبي دؤاد، فصرفه عن قضاء مصر، سنة ست وعشرين، ولم يجد سبيلًا إلى عزله. لأن المعتصم كان وقع اختياره عليه. حتى قرّر عند المعتصم، أنه استعمل أصحاب ابن المنكدر، الذي كان يشابه المعتصم كما ذكرنا في أخباره، وأنه صيرهم بطانة فعزله، وولى أبا بكر ابن أبي الليث الأصم، فأقام رجلًا فرفع على هارون باستهلاك مال من بيت المال. وكان هارون يدفع مفتاح التابوت إلى غير ثقة. فأتى عليه منه. فأمر الأصم، بإحضار كتاب المعتصم برفع ذلك عنه. فأخذ الله عما قريب من الأصم، ما فعل بهارون وزيادة، على يد الحارث بن مسكين، لما ولي قضاء مصر. أقام الأصم أيامًا يضربه كل يوم عشرين سوطًا في رد مال بيت المال، ثم أمر المتوكل لما ولي بعد ذلك بحلق لحية الأصم وضربه، وطوافه في مصر على حمار، وسجنه وحمله على حمار وأصحابه. واستصفى ماله ولعنه على المنبر، فنفذ ذلك كله. وكان الأصم مبتدعًا متعزليًا خبيثًا. وكانت وفاة القاضي هارون سنة ثمان وعشرين ومائتين.
أنشد له القاضي وكيع في طبقات القضاة، ما قاله عند انصرافه عن ابن أبي دؤاد:
أيام معروفك ما لم تكن ... بالصبر أحوال وأحوال
فاصبر لها واصبر لمكروهها ... فللذي يدبر إقبال
ورب أمر مرتج بابه ... عليه أن يفتح أقفال