ويقال أيضًا إن عمرو بن العاص اتخذ فيه منبرًا للخطبة عليه ، فأنكر ذلك الخليفة عمر رضي الله عنه وكتب إليه يأمره بكسره ، وعّنفه بقوله: أما يكفيك أن تقوم قائمًا والمسلمون جلوس تحت عقبيك .. فكسره عمرو امتثالًا لأمر عمر رضثي الله عنه.

وجاء في بعض الروايات أنه أعاده بعد وفاته.

الدور الأموي:

وقد انصب اهتمام الأمراء والخلفاء في بادئ الأمر على توسعة هذا المسجد والإضافة فيه مع تجميله وتحسينه وذلك لكونه المسجد الوحيد الذي تقام فيه الجمعة ثمة ، مما يجعل المصلين فيه يزيدون دائمًا على كل اضافة وزيادة وتوسعة.

ففي سنة 53 هـ في خلافة معاوية بن أبي سفيان ، قام والي مصر مسلمة بن مخلد بإزالته وإنشاؤه من جديد ، بعد أن ضاعف حجم مساحته وجعل له سورًا من الآجر وجعل له صحنًا مكشوفًا ، وزخرف جدرانه وسقوفه ، وأنشأ في جوانبه الأربعة منائر أو صوامع للمؤذنين ، ونقش اسمه عليها ، وأمر بفرش المسجد بالحصر بدل الحصباء. ويقال: إن تلك المآذن كانت أقدم المآذن التي أقيمت في الإسلام ، حيث لم تكن للمساجد بعد في تلك العصور مآذن مرتفعة فوق البنيان.

وفي سنة 79 هـ قام عبد العزيز بن مروان والي مصر بتوسعته وتجديد بنائه...وفي خلافة الوليد بن عبد الملك ـ الذي اشتهر بالاهتمام بالعمارة عمومًا والمساجد خصوصًا ـ قام واليه على مصر قرة بن شريك العبسي عام 93 هـ بهدمه بأمر الخليفة الوليد ، ثم أعاد بناءه من جديد ، مع زيادة مساحته.

وكان من إضافاته فيه: محراب مجوف في جهة القبلة ، ومنبر خشبي جميل ، ومقصورة ( وهي المكان المخصص داخل بيت الصلاة لصلاة الأمير وحاشيته )

وعمد قُرّة إلى أربعة أعمدة تجاه المحراب ، فطلى بالذهب تيجانها ، ونتيجة الإتساع الواضح في مسجد عمرو ـ بعد الإضافة ـ فقد جعل له أربعة أبواب في جهته الشرقية والغربية ، وثلاثة أبواب في جهته البحرية.

الدور العباسي: