ولم يأت عام 293هـ حتى دخل القرامطة إلى صنعاء واستباحوها، بقيادة داعيتهم علي بن الفضل القرمطي، وهدموا جوانب من مسجد صنعاء، بل حاولوا إسقاط سقفه كله، وذلك بأن سدوا ميازيب سطح المسجد في فصل الخريف الممطر حتى امتلأ سطحه ماء، وكاد يقع لولا لطف الله، وزادوا على ذلك ـ كما يرويه الرازي ـ بأن شربوا الخمر في المسج، وذبحوا فيه كثيرًا من الخلق.

ثم إن الأمير أسعد بن يعفر صار إلى صنعاء وأخرج منها علي بن الفضل القرمطي ،وعضد جدران المسجد بالحجارة المقوية، وأصلح سقوف المسجد المتضررة، واعتنى بالمسجد خير عناية، وجمّله وزخرفه، وأعاد له شبابه ونضارته.

حتى جاء بعض القضاة وهو قاضي صنعاء يحيى بن عبد الله بن كليب المتوفى عام 341هـ فأمر بهدم تلك النقوش التي كانت في المحراب، وجصصه بجص عادي خال منها متعللًا بقوله: إن ذلك لم يكن جائزًا.

كما عمد إلى ما كان من الزخرفة في الأحجار الخارجية للجامع فشوه صورتها.

أروى بنت أحمد الصليحي.. ونقطة مضيئة:

وتوالت عمليات التجديد في مسجد صنعاء. فقد جدده سليمان بن محمد عام 388هـ وجدده كذلك محمد بن حسين عام 407هـ ثم كانت واحدة من التجديدات والتوسعات الشاملة فيه عام 525هـ وهي التي قامت بها المرأة الفاضلة أروى بنت أحمد الصليحي التي زادت في المسجد الجناح الشرقي فيه، اضافة إلى عمارة المسجد كله، حتى أصبح ينسب إليها المسجد، فيقال له: مسجد أروى...

مئذنتان.. شرقية وغربية:

وقد علم من تتبع الروايات أن كان لمسجد صنعاء في هذه المرحلة مئذنتان إلا أن احداهما ـ وهي ـ تصدعت وانهارت عام 594هـ، بينما كانت الغربية الأخرى قد تصدعت بعدها. لذلك فإن الأمير الأيوبي الكردي الأصل وردسار بن بيامي الشانكاني أعاد بناء هاتين المنارتين عام 602هـ وابتدأ بالشرقية منهما.