انتقضت عليه البربر فضعف أمره فولى يزيد بن حاتم بن قبيصة بن المهلب بن أبي صفرة التميمي ودخل القيروان منتصف سنة خمس وخمسين وهلك سنة سبعين ومائة في خلافة هارون الرشيد وقام بأمره بعده ابنه داود
ثم ولى الرشيد أخاه روح بن حاتم فقدمها منتصف سنة إحدى وسبعين ومائة ومات في رمضان سنة أربع وسبعين فقام حبيب بن نصر مكانه وسار ابنه الفضل إلى الرشيد فولاه مكان أبيه فعاد إلى القيروان في المحرم سنة سبع وسبعين ومائة ثم قتله ابن الجارود في منتصف سنة ثمان وسبعين ومائة فولى الرشيد مكانه هرثمة بن أعين فسار إلى القيروان وقدمها سنة تسع وسبعين ومائة ثم استعفى فأعفاه الرشيد لسنتين ونصف من ولايته
وولى مكانه محمد بن مقاتل الكعبي فقدم القيروان في رمضان سنة إحدى وثمانين وكان سيء السيرة
ثم ولى الرشيد إبراهيم بن الأغلب فقدم أفريقية منتصف سنة أربع وثمانين ومائة وابتنى مدينة العباسية بالقرب من القيروان وانتقل إليها
وفي ولايته ظهرت دعوة الأدارسة من العلوية بالمغرب الأقصى
ثم مات إبراهيم في شوال سنة ست وتسعين ومائة بعد أن عهد لابنه أبي العباس عبد الله بن إبراهيم بن