مات سليمان، وأراد (رجاء بن حيوة) تنفيذ العهد لكن عمر كان لا يريد الخلافة، ولا يطمع فيها، ويعتبرها مسئولية كبيرة أمام الله، شعر عمر بن عبد العزيز بالقلق وبعظم المسئولية، فقرر أن يذهب على الفور إلى المسجد حيث يتجمع المسلمون، وبعد أن صعد المنبر قال: لقد ابتليتُ بهذا الأمر على غير رَاي مِنِّي فيه، وعلى غير مشورة من المسلمين، وإني أخلع بيعة من بايعني، فاختاروا لأنفسكم، لكن المسلمين الذين عرفوا عدله وزهده وخشيته من الله أصرُّوا على أن يكون خليفتهم، وصاحوا في صوت واحد: بل إياك نختار يا أمير المؤمنين، فبكي عمر.
وتولى الخلافة في يوم الجمعة، العاشر من صفر سنة 99هـ، ويومها جلس حزينًا مهمومًا، وجاء إليه الشعراء يهنئونه بقصائدهم، فلم يسمح لهم، وقال لابنه: قل
لهم {إني أخاف إن عصيت ربي عذاب يوم عظيم} [يونس: 15] .
دخلت عليه زوجته فاطمة وهو يبكي، فسألته عن سرِّ بكائه، فقال: إني تَقَلَّدْتُ (توليت) من أمر أمة محمد -صلى الله عليه وسلم- أسودها وأحمرها، فتفكرتُ في الفقير الجائع، والمريض الضائع، والعاري والمجهود، والمظلوم المقهور، والغريب الأسير، والشيخ الكبير، وذوي العيال الكثيرة، والمال القليل، وأشباههم في أقطار الأرض وأطراف البلاد، فعلمتُ أن ربي سائلي عنهم يوم القيامة، فخشيتُ ألا تثبتَ لي حجة فبكيتُ.
وترك عمر زينة الحياة الدنيا، ورفض كل مظاهر الملك التي كانت لمن قبله من الخلفاء، وأقام في بيت متواضع بدون حرس ولا حجاب، ومنع نفسه التمتع بأمواله، وجعلها لفقراء المسلمين، وتنازل عن أملاكه التي ورثها عن أبيه، ورفض أن يأخذ راتبًا من بيت المال، كما جرَّد زوجته فاطمة بنت الخليفة عبد الملك بن مروان من حليها وجواهرها الثمينة، وطلب منها أن تعطيها لبيت المال، فقال لها: