قد علم مما تقدم أن أول عمل قام به عمر رضي الله عنه عزل خالد بن الوليد عن الإمارة العامة وتوسيدها لأبي عبيدة عامر بن الجراح رضي الله عنه وعلم أن المسلمين انتصروا في وقعة اليرموك ولما هزم الله جند العدو وفرغ من المقاسم والأنفال وبعث بالأخماس وسرحت الوفود استخلف أبو عبيدة على اليرموك بشير بن كعب بن أبي الحميري وخرج أبو عبيدة حتى نزل بمرج الصفر وهو يريد اتباع الفالة ولا يدري يجتمعون أو يتفرقون فأتاه الخبر بأنهم اجتمعوا بفحل وأن المدد قد أتى أهل دمشق من حمص فهو لا يدري أبدمشق يبدأ أو بفحل من بلاد الأردن فكتب في ذلك إلى عمر وانتظر الجواب وأقام بالصفر فلما جاء عمرَ فتح اليرموك أقر الأمراء على ما كان استعملهم عليه أبو بكر إلا ما كان من عمرو بن العاص وخالد بن الوليد فإنه ضمّ خالدًا إلى أبي عبيدة وأمر عمرًا بمعونة الناس حتى يصير الحرب إلى فلسطين ثم يتولى حربها وكان هرقل قبل انكسار جيشه باليرموك بأورشليم ولما جاء خبر انكسار جيشه رحل إلى حمص.
لما بلغ أبا عبيدة رضي الله عنه كتاب الخليفة بالذي ينبغي أن يبدأ به وهو دمشق امتثل وسرح عشرة قواد وبعث ذا الكلاع حتى كان بين دمشق وحمص وبعث علقمة بن حكيم ومسروقًا فكانا بين دمشق وفلسطين والأمير يومئذ يزيد بن أبي سفيان فقدم خالد بن الوليد وعلى مجنبتيه عمرو وأبو عبيدة وعلى الخيل عياض بن أبي غنم وعلى الرجل شرحبيل ابن حسنة فقدموا دمشق ونزلوا حواليها فكان أبو عبيدة على ناحية وعمرو على ناحية وخالد على ناحية ويزيد على ناحية فحاصروا أهل دمشق نحوًا من سبعين ليلة حصارًا شديدًا حتى تم فتحها والفضل في ذلك لأولئك الأمراء وبالخصوص خالد. واتفق كثير من الرواة والمؤرخين على أن الذي تولى عقد الصلح مع الدمشقيين هو خالد وأمضاه أبو عبيدة بعد أن أطلعه على كتاب الخليفة بعزله على إمارته وهذا يدل على أن خبر عزل خالد لم يأت وهم على اليرموك بل أتى وهم على دمشق وكتمه أبو عبيدة ريثما تم الصلح.
تنبيه: ومن جميل سياسة عمر أنه كان يعلم من نفسه الشدة فلا يرضى لعماله أن يكونوا مثله لهذا عزل خالد بن الوليد عن الإمارة وجعل بدله أبا عبيدة وكان عماله جميعهم عرفوا باللين كأبي عبيدة وسعد بن أبي وقاص وعتبة بن غزوان وحذيفة بن اليمان وعثمان بن حنيف وأضرابهم ومع شدته رضي الله عنه فقد كان يوصي عماله بالرفق والعدل وعدم الإيغال في العقوبة وبلغ به كره الإيغال في العقوبة