كما حاصر أمين هذه الأمة أبو عبيدة بن الجراح فلسطين، وذكر ابن جرير ذلك فقال إن أبا عبيدة لما فرغ من دمشق كتب إلى أهل إيليا يدعوهم إلى الله وإلى الإسلام، أو يبذلون الجزية أو يؤذنون بحرب، فأبوا أن يجيبوا إلى ما دعاهم إليه، فركب إليهم في جنوده واستخلف على دمشق سعيد بن زيد، ثم حاصر بيت المقدس وضيق عليهم حتى أجابوا إلى الصلح بشرط أن يقدم إليهم أمير المؤمنين عمر بن الخطاب، فكتب إليه أبو عبيدة بذلك فاستشار عمرُ الناس في ذلك، فأشار عثمان بن عفان بأن لا يركب إليهم ليكون أحقر لهم وأرغم لأنوفهم، وأشار علي بن أبي طالب بالمسير إليهم ليكون أخف وطأة على المسلمين في حصارهم بينهم، فهوِيَ ما قال علي ولم يَهْوَ ما قال عثمان، وسار بالجيوش نحوهم، واستخلف علي بن أبي طالب على المدينة
ويذكر المؤرخون أن عمر رضي الله عنه ركب من المدينة على فرس ليسرع السير، وفي طريقه مرَّ على الجابية فنزل بها وخطب فيها خطبة طويلة بليغة منها «أيها الناس، أصلحوا سرائركم تصلح علانيتكم، واعملوا لآخرتكم تكفوا أمر دنياكم، واعلموا أن رجلاً ليس بينه وبين آدم أب حي ولا بينه وبين الله هوادة، فمن أراد لَحْبَ طريق وجه الجنة فليلزم الجماعة؛ فإن الشيطان مع الواحد وهو من الاثنين أبعد، ولا يخلون أحدكم بامرأة فإن الشيطان ثالثهما، ومن سرته حسنته وساءته سيئته فهو مؤمن»
ثم سار بعد ذلك متوجهًا إلى بيت المقدس، وصالح النصارى هناك، واشترط عليهم إجلاء الروم إلى ثلاث، ثم دخلها من الباب الذي دخل منه رسول الله ليلة الإسراء، ثم صلى تحية المسجد، وصلى بالمسلمين في صلاة الغداة من الغد، فقرأ في الأولى بسورة ص، وسجد فيها والمسلمون معه، وفي الثانية بسورة بني إسرائيل، وهكذا فتح الله بيت المقدس للمسلمين على يد أمير المؤمنين عمر بن الخطاب الذي سار إليه في موكب وهو في غاية التواضع لله، وحرر الأقصى من أعداء الله، ومن يومئذ حكم المسلمون هناك