وبقي المسجد هكذا إلى أن جاء ثاني أمراء الأسرة الأغلبية زيادة الله بن الأغلب ـ وكان تولى إمارة افريقية ـ فأخذ سنة 221هـ في هدم أجزاء كثيرة من المسجد بما فيها أسقف الجامع، ثم أقامها من جديد بعد أن رفعها عما كانت عليه، وبني على اسطوانة المحراب قبة زخرفها، وجعلها لوحات رخامية رائعة، ولما أراد أن يهدم المحراب عارضه الفقهاء، وقالوا: إن من تقدمك توقفوا عن ذلك لماّ كان واضعه عقبة بن نافع ومن كان معه. وقال له بعض البنائين: أنا أدخله بين حائطين فيبقى دون أن يظهر في الجامع أثر لغيرك، فاستحسن ذلك، وبنى المحراب الجديد بالرخام الأبيض المخرم الذي يطل منه الناظر على محراب عقبة الأساسي.

وقد أكثر من العناية بالمسجد حتى قيل: إنه أنفق عليه 180 ألف مثقال غير نادم ولا مستكثر. بل كان يقول: ما أبالي ما قدمت على ربي يوم القيامة وفي صحيفتي أربع حسنات: بنياني المسجد الجامع بالقيروان، وبنياني قنطرة أبي الربيع، وبنياني حصن مدينة سوسه، وتوليتي أحمد بن محرز قاضي أفريقية.

وفي بيت الصلاة في مسجد عقبة بن نافع 414 عمودًا من الرخام تحمل عقود أروقته السبعة عشر.أما الساريتان (العمودان) الحمراوان اللتان كانتا زينة مسجد يزيد بن حاتم فقد وضعتا أمام المحراب وما زالتا باقيتين إلى اليوم.

وفي عام 248هـ قام أحمد بن محمد أبو ابراهيم الأغلبي بتزيين جدران المحراب بالقراميد الخزفية واللوحات الرخامية، وكذلك فعل بالمنبر.

ثم في عام 261هـ قام هذا الأمير نفسه فزاد في طول الجامع، وبنى القبة المعروفة بباب البهو، وأقام المجنبات التي تدور حول الصحن. وبذلك وصل الجامع إلى أوج جماله.

وفي عام 441هـ أعاد المعز بن باديس بن زيربى السني تجديد المسجد وترميمه، وصنع له المقصورة الخشبية التي لا تزال منصوبة إلى اليوم بجوار المحراب.

…كما أن الحفصيين أعادوا أيضًا تجديده بعد الغزوة الهلالية.

مقاييس المسجد: