سار عمر بن عبد العزيز في أهل المدينة سيرة جده العظيم عمر بن الخطاب. وسعد به الصحابة والتابعون لما وجدوا فيه من القدوة الصالحة لغيره من الحكام، وعوضا للمسلمين عما يفعله الحجاج بن يوسف وغيره من عمال الوليد بن عبد الملك .. قال عنه الصحابي الجليل أنس بن مالك رضي الله عنه:"ما صليت وراء إمام-بعد رسول الله صلي الله عليه وسلم- أشبه صلاة بالرسول صلي الله عليه وسلم من هذا الفتي"يقصد عمر بن عبد العزيز أمير المدينة .وقال زيد بن أسلم رضي الله عنه: كان عمر يتم الركوع والسجود ويخفف القيام والقعود .. وجاء إليه رجل صالح ذات يوم فأخبره بأنه رأي النبي صلي الله عليه وسلم في المنام، وكان أبو بكر رضي الله عنه يجلس علي يمينه ، وعمر بن الخطاب رضي الله عنه يجلس علي يساره وأمامهم رجلان يختصمان وبين يدي الرسول صلي الله عليه وسلم كان عمر بن عبد العزيز جالسا.. وقال النبي صلي الله عليه وسلم لابن عبد العزيز:"يا عمر إذا عملت فاعمل بعمل هذين - أبو بكر وعمر بن الخطاب". ولم يطمئن عمر بن عبد العزيز حتي أقسم له الرجل أنه رأي هذا في منامه وتحقق من كل كلمة أمره بها الرسول صلي الله عليه وسلم .. حينئذ لم يتمالك عمر بن عبد العزيز وجعل يبكي مشفقا علي نفسه من ثقل التبعة، ووعورة الطريق، وقلة الزاد، وبعد السفر .. ورغم كثرة الصحابة والتابعين الأجلّاء في مكة والمدينة كان عمر بن عبد العزيز- رغم حداثة سنه- يؤم الناس في الحج طيلة سنوات ولايته علي مدينة الرسول صلي الله عليه وسلم ، اللهم إلا سنة واحدة حج فيها بالناس الوليد بن عبد الملك ، وصحبه عمر خلالها أيضا .. وقد استطاع عمر رضي الله عنه أن يلطّف من حدّة الوليد بن عبد الملك ، وأن يقنعه بالتخلي عن إيذاء كبار الفقهاء والصالحين الذين رفضوا بيعته ، علي خلاف ما كان الحجاج الخبيث يفعل زلفى ونفاقا للوليد .