كان رضي الله عنه ملازما للحج في سني خلافته، وكان من سيرته أن يأخذ عماله بموافاته كل سنة في موسم الحج ليحجزهم بذلك عن الرعية ويحجز عنهم الظلم ويتعرف أحوالهم عن قرب، وليكون للرعية وقت معلوم ينهون إليه شكاويهم.
وقال سعيد بن المسيب: لما صدر عمر من منى أناخ بالأبطح، ثم كوم كومة بطحاء، ثم طرح عليها رداءه واستلقى، ثم مد يديه إلى السماء ثم قال: اللهم كبر سني، وضعفت قوتي، وانتشرت رعيتي، فاقبضني إليك غير مضيع ولا مفرط. ثم قدم المدينة فخطب الناس، فما انسلخ ذو الحجة حتى قتل.
روي أن عمر لما انصرف من حجته التي لم يحج بعدها أتى ضجنان ووقف فقال: الحمد لله ولا إله إلا الله، يعطي من يشاء ما يشاء. لقد كنت بهذا الوادي أرعى إبلا للخطاب، كان فظا غليظا يتعبني إذا عملت، ويضربني إذا قصرت.
وقد أصبحت وليس بيني وبين الله أحد أخشاه. ثم تثمل بهذه الأبيات:
لا شيء مما ترى تبقي بشاشته ... يبقى الإله ويودي المال والولد
لم تغن عن هرمز يوما خزائنه ... والخلد قد حاولت عاد فما خلدوا
ولا سليمان إذ تجري الرياح له ...
والجن والإنس فيما بينها ترد