حين تلقى عمر بن عبدالعزيز خبر توليته (للخلافة) انصدع قلبه من البكاء، وهو في الصف الأول، فأقامه العلماء على المنبر وهو يرتجف، ويرتعد، وأوقفوه أمام الناس، فأتى ليتحدث فما استطاع أن يتكلم من البكاء، قال لهم: بيعتكم بأعناقكم، لا أريد خلافتكم، فبكى الناس، وقالوا: لا نريد إلا أنت، فاندفع يتحدث، فذكر الموت، وذكر لقاء الله، وذكر مصارع الغابرين، حتى بكى من بالمسجد.

يقول رجاء بن حيوة: والله لقد كنت أنظر إلى جدران مسجد بني أمية ونحن نبكي، هل تبكي معنا! ثم نزل، فقربوا له المراكب والموكب كما كان يفعل بسلفه، قال: لا، إنما أنا رجل من المسلمين، غير أني أكثر المسلمين حملًا وعبئًا ومسئولية أمام الله، قربوا لي بغلتي فحسب، فركب بغلته، وانطلق إلى البيت، فنزل من قصره، وتصدق بأثاثه ومتاعه على فقراء المسلمين.

نزل عمر بن عبدالعزيز في غرفة في دمشق أمام الناس، ليكون قريبًا من المساكين والفقراء والأرامل، ثم استدعى زوجته فاطمة، بنت الخلفاء، أخت الخلفاء، زوجة الخليفة، فقال لها: يا فاطمة، إني قد وليت أمر أمة محمد - صلى الله عليه وسلم -، وتعلمون أن الخارطة التي كان يحكمها عمر، تمتد من السند شرقًا