كان أبو عبيدة يعتبر المنصب تكليفا، ولا تشريفا، فلما توفي رسول الله صلى الله عليه وسلم أتى بعض الناس أبا عبيدة ليبايعوه بالخلافة فقال لهم:
أتأتوني وفيكم ثالث ثلاثة؟ يريد أبا بكر الصديق، وكان لا يهتم بمتاع الدنيا وزخارفها، فلما أرسل إليه عمر بن الخطاب رضي الله عنه أربعة آلاف درهم وأربعمائة دينار، مع رسوله وقال له: انظر ما يصنع بها. فلما أخذها أبو عبيدة قسمها على الجنود، فلما أخبر عمر رضي الله عنه ما صنع أبو عبيدة بالمال قال: الحمد لله الذي جعل في الإسلام من يصنع هذا.
ولما قدم عمر إلى الشام تلقاه الأمراء والعظماء، فقال عمر: أين أخي؟ فقالوا: من؟ قال: أبو عبيدة. قالوا له: يأتيك الآن. ثم حضر إليهم على ناقة مخطومة بحبل,فسلم عليه، فقال له عمر: اذهب بنا إلى منزلك يا أبا عبيدة، فسار معه حتى أتى منزله، فدخل عليه فلم يجد إلا سيفًا وترسًا، وقربة ماء بالية، فطلب عمر طعامًا، فلم يجد غير لقيمات من الخبز، فبكى عمر، فقال له أبو عبيدة: قلت لك إنك ستعصر عينيك علي يا أمير المؤمنين؛ يكفيك من الزاد ما بلغك المحل. فقال عمر: غيرتنا الدنيا كلنا غيرك يا أبا عبيدة.
علمه:
كان أبو عبيدة فقيهًا عالمًا، مثالًا للخلق الكريم والإيمان العميق، فلا عجب أن يقول له الرسول صلى الله عليه وسلم: (نعم الرجل أبو عبيدة) . ولما طلب أهل اليمن من رسول الله صلى الله عليه وسلم أن يبعث معهم رجلًا من أصحابه ليعلمهم السنة والإسلام، أخذ النبي صلى الله عليه وسلم أبا عبيدة من يده وقال: (هذا أمين هذه الأمة) ، وكان من أصحاب الفتيا من الصحابة، ومن الذين نالوا شرف المشاركة في جمع القرآن الكريم.
وفاته:
لما ظهر الطاعون بالشام، كان أبو عبيدة واليًا عليها، فلما علم أمير المؤمنين عمر بن الخطاب رضي الله عنه باستفحال المرض أرسل إلى أبي عبيدة ليخرج بعيدًا عن هذا