يبْدو أنه حينما تسّلَّم الإمارة أبو عُبَيْدة ولمع نجْمُهُ وذاعَ صيتُهُ وحقَّقَ انتِصارات كبيرة ، عَظَّمَهُ الناس وأكبروه وأجَلُّوه ، فخاف على نفْسه أنْ يُصيبَها الغُرور ، فقال: أيها الناس ، إني مُسلمٌ من قُريش ، وما منكم مِن أحدٍ أحمر ولا أسْود يفْضُلُني بِتَقْوى إلا وَدِدْتُ أني في إهابِهِ - وهذا من تواضُعِه - سيِّدُنا عمر يزور أبا عُبَيْدة بن الجراح ، ويسْأل مُسْتَقْبِليه أين أخي ؟ يقولون: من ؟ يقول: أبو عُبَيْدة ، فيأتي أبو عُبَيْدة فَيُعانِقُ أمير المؤمنين ، ثمَّ يصْحبه إلى داره فلا يجد فيها من الأثاث شيئًا ؛ سَيْفَهُ وتِرْسه ورَحْلَهُ وقِدْرَ ماءٍ مُغَطىً بِرَغيفِ خُبْزٍ ، يسْأله عمر قائِلًا: ألا اتَّخَذْتَ لِنَفْسِك مثل ما يتَّخِذُ الناس فقال له أبو عُبيدة: يا أمير المؤمنين هذا يُبَلِّغُني المقيل ؛ هو للدنيا وهو على الدنيا كثير ألا يُبَلِّغُنا المقيل .

كذلك لمّا سيدنا عمر بلغه خبر وفاة سيِّدنا أبي عُبَيْدة بن الجراح بَكى بُكاءً ما بكاهُ على أحدٍ من قبل حتى غُصَّ حلْقُهُ ، وانْهَمَرَتْ دُموعه ، وقال: لو كنت مُتَمَنِّيًا ما تمَنَّيْتُ إلا بيْتًا مملوءً بِرِجالٍ مثل أبي عُبَيْدة ، ما تمَنى إلا هذا .