لكن خالدًا يزهد في القيادة كما البطل الحق حين يجد طموحه أكبر من القيادة التي لم تكن هدفه، ويساعده على استمرار الزهد قرار عمر بعزله. وقد حدث ذلك في معركة اليرموك التي لم يجد أبو بكر خيرًا من سيف الله المسلول خالد لقيادتها، فأمره بالمسير إلى الجيش الإسلامي فيها حيث كانت تنتظره أربع كتائب من المسلمين يقودها أربعة من الأمراء، اجتمعوا فيما بعد جميعًا تحت إمرة خالد.
وهناك وقف خالد بجيش المسلمين خاطبًا: (إن هذا يوم... من أيام الله... لا ينبغي فيه الفخر لا ولا البغي، ثم أخلصوا جهادكم وأريدوا الله بعملكم، وتعالوا نتعاور الإمارة، فيكون أحدنا اليوم والآخر غدًا، والآخر بعد غد، حتى يتأمّر كلكم....) . وفيما كانت المعركة دائرة توفي أبو بكر وتولى الخلافة عمر وجاء البريد بنبَأ عزل خالد ونقل الإمارة إلى أبي عبيدة بن الجراح، ولكن خالد كتم الأمر خوفًا من الفتنة، وبايع الناس على الموت وأجابوه حتى انتصر جيش المسلمين وهزم الروم وأعوانهم، حينذاك نزع خالد شعار الإمارة عن رأسه وتقدم من أبي عبيدة ووضعه على رأسه وأتى بالراية بين يديه. هذا ما فعله خالد الذي كان يطلب الشهادة ولا يطلب الإمارة. لم يتمرد على أمر الخليفة... ولم يستثمر هذا النصر لمصلحته الشخصية فيقسم الجيش إلى خصمين... ولم يعلن العراق أو الشام أو الحيرة أو فلسطين مملكة مستقلة لخالد، لأنه كان يقاتل في سبيل الله ومن أجل تحقيق النصر للمسلمين المستضعفين في الأرض، فعلا بهم ودخل التاريخ من باب الأبطال الفاتحين. وكذلك فعل الخليفة عمر بن الخطاب الذي لم يعزله خوفًا من منازعته أو تمرده، وإنما فعل ذلك من باب الحرص عليه، وقد بيّن ذلك في حوار دار بينهما حين عاد خالد إلى المدينة، وهو قلق من أن يكون قد ارتكب خطأ يوجب العزل:
ـ لِمَ عزلتني يا أمير المؤمنين؟
أجابه عمر: