وكان رحمه الله على قدم الصلاح أيضًا، إلا أنه كان يبالغ في التنعم، فكان الذين يعيبونه من حساده لا يعيبونه إلا بالإفراط في التنعم، والاختيال في المشية، فلما ولي الوليد الخلافة أمَّر عمر على المدينة فوليها من سنة ست وثمانين إلى سنة ثلاث وتسعين.
ولايته على المدينة وأعماله فيها:
لما قدم عليها واليًا فصلى الظهر دعا بعشرة: عروة وعبيد الله وسليمان بن يسار والقاسم وسالمًا وخارجة وأبا بكر بن عبد الرحمن وأبا بكر بن سليمان وعبد الله بن عامر، فحمد الله وأثنى عليه ثم قال:"إني دعوتكم لأمر تؤجرون فيه، ونكون فيه أعوانًا على الحق، ما أريد أن أقطع أمرًا إلا برأيكم، أو برأي من حضر منكم، فإن رأيتم أحدًا يتعدى، أو بلغكم عن عامل ظلامة فأحرج بالله على من بلغه ذلك إلا أبلغني". فجزوه خيرًا وافترقوا.
وبنى في مدة ولايته هذه مسجد النبي - صَلَّى اللهُ عَلَيْهِ وَسَلَّمَ - ووسعه عن أمر الوليد له بذلك.
واتسعت ولايته فصار واليًا على الحجاز كلها ... وراح الأمير الشاب ينشر بين الناس العدل والأمن، وراح يذيقهم حلاوة الرحمة، وسكينة النفس .. صارخًا بكلمة الحق والعدل، نائيًا بنفسه عن مظالم العهد وآثامه، متحديًا جباريه وطغاته ... وعلى رأسهم الحجاج بن يوسف الثقفي .. وكان عمر يمقته أشد المقت بسبب طغيانه وعَسْفه، وكان نائبًا على الحج في إحدى السنين فأرسل عمر إلى الوليد يسأله أن يأمر الحجاج ألا يذهب إلى المدينة ولا يمر بها، رغم أنه يعرف ما للحجاج من مكانة في نفوس الخلفاء الأمويين ... وأجاب الخليفة طلب عمر وكتب إلى الحجاج يقول:"إن عمر بن عبد العزيز كتب إليَّ يستعفيني من ممرك عليه بالمدينة، فلا عليك ألا تمر بمن يكرهك، فنح نفسك عن المدينة".
وراح هذا الأمير الشاب يعمر ويعمر بادئًا بالمسجد النبوي وفي كل الحجاز، الآبار والطرق، وفي حدود ولايته وسلطانه رد للأموال العامة كرامتها وحرمتها، فلم تعد سهلة المنال لكل ناهب خالس، كما لم تعد ألعوبة في يد كل مسرف ومترف ... وفتح أبواب المدينة للهاربين من ظلم الولاة في كل أقطار الدولة .. وحماهم من المطاردة، ووفر لهم الطمأنينة والأمن.