عزلي، وولى يزيد بن أبي سفيان، فقال ابن عمر: فأردت أن أتكلم، ثم عزم لي على الصمت، قال: فتولنا إلى يزيد بن أبي سفيان، وصار خالد كرجل منهم.
وعن يزيد بن أبي سفيان قال: شيعني أبو بكر حين بعثني إلى الشام فقال: يا يزيد، إنك رجل تحب قرابتك، وإني سمعت رسول الله صَلَّى اللهُ عَلَيْهِ وَسَلَّمَ يقول: من ولى ذا قرابة محاباة، وهو يجد خيرًا منه لم يجد رائحة الجنة.
وعن يزيد بن أبي سفيان قال: قال لي أبو بكر الصديق حين بعثني إلى الشام: يا يزيد، إن لك قرابة عسيت أن تؤثرهم بالإمرة، وذلك أكبر ما أخاف عليك، فإن رسول الله صَلَّى اللهُ عَلَيْهِ وَسَلَّمَ قال:"من ولي من أمر المسلمين شيئًا، فأمر عليهم أحدًا محاباة له، فعليه لعنة الله، لا يقبل الله منه صرفًا ولا عدلًا، حتى يدخله جهنم، ومن أعطى رجلًا من مال أخيه شيئًا محاباة له فعليه لعنة الله، أو قال: برئت منه ذمة الله، وإن الله دعا الناس إلى أن يؤمنوا بالله، فيكونوا في حمى الله، فمن انتهك في حمى الله شيئًا فعليه لعنة الله، أو قال: برئت منه ذمة الله".
وعن ابن عمر: أن أبا بكر بعث يزيد بن أبي سفيان إلى الشام فمشى معهم نحوًا من ميلين، فقيل له: يا خليفة رسول الله، لو انصرفت، فقال: لا إني سمعت رسول الله صَلَّى اللهُ عَلَيْهِ وَسَلَّمَ يقول:"من اغبرت قدماه في سبيل الله حرمهما الله على النار".
ثم بدا له في الانصراف إلى المدينة، فقام في الجيوش فقال: أوصيكم بتقوى الله، لا تعصوا، ولا تغلوا، ولا تجتنوا، ولا تهدموا بيعة، ولا تعرقوا