سنة أو سنتين في مكان هذا المسجد الذي ظل من الصحراء حتى زمن الدولة الأيوبية التي وصل فيها عمران المدينة إلى غربي هذا المسجد وكانت توجد إلى الشمال منه قبة فوق بناء مدرسة لقراءة القرآن يقال إنها كانت لوالدة صلاح الدين الأيوبي مما يدل على وصول البنيان إلى ذلك المكان، وما بين مكان هذه القبة إلى سقيفة بني ساعدة شرقًا إلى الشمال كان يوجد بقيع الخيل أي مكان سوق بيع الخيل في العهد النبوي وقد أدركت في مكانه سوق غنم المدينة، وكان موقعه في آخر دور مهاجري جهينة وبلي الذي أصبح فيه اليوم مكتبة الملك عبد العزيز الضخمة في عصرنا هذا أما سبب تسمية مسجد عليَ بهذا الإسم فهو أمر لم يتضح لي لأن عليًا رضي الله عنه في خلافته لم يصل عيدًا في المدينة، ولقد تغنى الشعراء بالمصلى واشتاقوا إلى ما حوله من دور.

قال الشاعر:

فكم من حرة بين المصلى إلى أحد إلى ما حاز ريم

إلى الجماء من خد أسيل نقي اللون ليس به كلوم

وقال آخر:

ليت شعري هل العقيق فسلع فقصور الجماء فالعرصتان

فإلى مسجد الرسول فما حا ز المصلى فجانبا بطحان

فبنو مازن كعهدي أم لي سوا كعهدي في سالف الأزمان