وكعادته جمع عمر بن عبد العزيز من بقي حيا من أصحاب رسول الله صلي الله عليه وسلم و فقهاء المدينة العشرة وكبار الصالحين وذوي المكانة في يثرب، وقرأ عليهم كتاب الوليد. كان هدم المسجد النبوي أمرا شاقا علي النفوس، وقال الفقهاء و الصالحون أن حجرات زوجات الرسول صلي الله علية وسلم المتواضعة يجب أن تبقي علي حالها ليعتبر بها الحجّاج والزوار القادمون من شتي بلاد المسلمين ويقتدون بما تمثله من الزهد والبساطة والقناعة من الدنيا باليسير، فقد كانت حيطانها من الطوب اللبن المصنوع من الطين الذي لم يدخل النار، وكانت سقوفها من جريد النخل، وعلي أبوابها المسوح- أثواب مصنوعة من الشعر- فأراد الفقهاء أن تبقي على حالها ليري الناس بيوت نبيهم البسيطة فيزهدوا في الدنيا ولا يعمّرون فيها إلا بقدر الحاجة، وهو ما يستر ويكن.و قال العلماء في ردهم علي أمر الوليد:"إن البنيان العالي هو من أفعال الفراعنة والأكاسرة وكل طويل الأمل في الدنيا راغب في الخلود بها. وإزاء هذا الرأي توقف عمر رضي الله عنه وبعث إلي الوليد بما أجمع عليه العلماء وأهل الرأي والشورى. لكن الوليد رفض الانصياع لرأي الفقهاء ونفّذ رغبته هو في هدم المسجد وإعادة بنائه علي أحدث طراز في ذلك الوقت مع توسيعه بمقدار مائتي ذراع طولا وعرضا. وللإنصاف نقرر أن الوليد كان أبعد نظرا وأصوب رأيا، فقد كثر الناس واحتاج الحرم إلي عدة توسعات فيما بعد كما رأينا في عصرنا هذا . وما كانت تلك التوسعات ممكنة إلا بهدم الحجرات وإضافة مساحتها إلى المسجد. كما أنه لا حرمة لمبنى أو مكان في الإسلام إلا الكعبة المشرفة والمسجد النبوي والقبر الشريف وليس لحجرات زوجات النبي في ذاتها."

وقد تولي عمر بن عبد العزيز إمرة الحج خلال العامين الأولين من خلافة الوليد وصلي بالناس صلاة الاستسقاء فأمطرت مكة وما حولها وأخصبت أرضيها بصورة غير معهودة، ولعلها بركات الوالي العادل أشج بني مروان.