عزله وولى رجلا من قيس وأخفق نفسه فلما أذن عبد الملك للحجاج في عزل يزيد كره أن كتب إليه بعزله فكتب إليه أن يستخلف المفضل فاستشار يزيد حصين فقال أقم واعدل فإن أمير المؤمنين حسن الرأي وبلغه إنما أتيت من الحجاج فإن أقمت ولم تعجل رجوت أن يكتب إليه أن يقر يزيد قال إنا أهل بيت بورك لنا في الطاعة وأنا أكره المعصية والخلاف فأخذ في الجهاز فأبطأ ذلك على الحجاج فكتب إلى المفضل إني قد وليتك خراسان فجعل المفضل يستحث يزيد فقال له يزيد أراك لا تتوكل بعدي إنما هذا وخرج يزيد في شهر ربيع الآخر سنة خمس وثمانين فعزل الحجاج المفضل فقال الشاعر للمفضل وعبد الملك وهو أخوه لأمه
( يا بني بهلة إذا أخزاكما ** ربي غداة غدا الهمام الأزهر )
( أخفرتم لأخيكما فوقعتم ** في قعر مظلمة أخوها المغور )
( جودوا بتوبة مخلصين فإنما ** يأبى ويأنف أن يتوب الأخسر )
أخبرنا أبو الحسين محمد بن كامل بن مجاهد أنا محمد بن أحمد بن عمر بن المسلمة في كتابه أنا محمد بن عمران بن موسى إجازة أنشدني علي بن سليمان الأخفش أنشدنا أحمد بن يحيى أنشدنا ابن الأعرابي لثابت بن قطنة يرثي المفضل بن المهلب بن أبي صفرة
( يا هند كيف بنصب بات تبكيني ** وعامر في سواد الليل يؤذيني )