ولما تولى الأمر سلاطين آل عثمان بدأت حقبة جديدة من ترميم وتجديد المسجد النبوي، ،وذلك ابتداء من السلطان سليمان القانوني الذي جدد الحرمين كليهما سنة (940هـ) ، وكان من مآثره في المسجد النبوي أن أهدى إليه منبرًا من أفخم المنابر الخشبية وأكثرها إتقانًا وجمالا وزخرفة. ولا تزال كثير من آثار ذلك التجديد باقية إلى اليوم عند باب السلام في الواجهة الغربية.

كما صنع العثمانيون للمسجد في العام 1196 محرابًا جديدًا من المرمر الملون البديع ونصبت فوقه قبه جميلة رائعة.

وفي عام 1266 هـ أعيد بناء المسجد بأكمله بأمر من والي مصر محمد على باشا وبمشاركة مهندسين من مصر وتركيا، وعلى رأسهم مشاهير مهندسي ذلك العصر، كالمهندس حليم باشا مهندس قصور العثمانيين في الأستانة، والمعلم ابراهيم كبير البنائين المصريين، والخطاط التركي المشهرة شكر الله ـ كما أوردهم الدكتور حسين مؤنس ـ وكان المشرف على البناء إبراهيم باشا ابن محمد علي باشا. وفي هذا التجديد بنيت القبة الخضراء الجميلة التي لا تزال رابضة فوق سطح المسجد النبوي إلى يومنا هذا، بعد أن كان بناها لأول مرة السلطان قايتباي، ثم جددها السلطان محمود الثاني. وقد عني معلم البناء إبراهيم بأن يعيد بناء المسجد بالحجارة القديمة التي كانت فيه من بناء الظاهر بيبرس قبل أن يستخدم غيرها.

ولم يمر طويل عهد حتى كسى السلطانُ العثماني عبد الحميد الأول (ت 1277هـ) كل جدران المسجد من الداخل بالرخام الوردي الذي أضفى على المسجد جمالًا ورونقًا بديعين حتى أطلق على المسجد النبوي اسم المسجد الوردي ولم يبخل السلطان في عمله هذا بمال، بل أنفق بسخاء وكان دائم الاستفسار عن تنفيذ العمل، حتى وهو على فراش الموت.

ويقال: بأنه مات قرير العين وهو ابن تسع وثلاثين عامًا بعد أن أبلغوه بتمام العمل وانجازه.