ظلت الأراضى الفلسطينية الكنعانية والأراضى التى تقع في حوزة القبائل اليهودية خاضعة بصورة كاملة للإمبراطورية الرومانية عدة قرون حتى ظهور الإسلام في قلب الجزيرة العربية وبدأت الدولة الإسلامية الفتية في إثبات وجودها حيث تغير شكل المنطقة حين بدأت في ضم المناطق المحيطة بها من الشمال والجنوب والشرق والغرب. فحين تولى عمر بن الخطاب الخلافة الإسلامية سنة 634 م أمر أبا عبيدة بن الجراح بالتوجه على رأس الجيش الإسلامى نحو الشمال حيث تلك الأراضى الواقعة تحت السيادة الرومانية.

و التقى الجيش الإسلامى بالجيش الرومانى في الموقعة الفاصلة الشهيرة اليرموك وتم النصر لجيش الدولة الإسلامية الفتية وبذلك أصبح الطريق إلى القدس ممهدًا سنة 636 م - 15 هـ، فبعث أبو عبيدة كتابًا إلى كهان المدينة يخيرهم فيه بين الإسلام أو الجزية أو الحرب فاختاروا الأخير منها حيث استطاع المسلمون سحقهم بكل سهولة وفتحت القدس أبوابها للعرب والمسلمين من جديد بعد غياب طويل استمر سبعة قرون حيث طردهم اليهود منها منذ سبعة قرون حين أخرجوا القبائل العربية الكنعانية من أراضيهم، وعاد العرب إليها بدين جديد هو الإسلام.

وقد ذهب الخليفة عمر بن الخطاب إلى القدس بنفسه عقب الاستيلاء عليها مباشرة حيث ألقى خطبة أمّن فيها سكانها على حياتهم وممتلكاتهم وعقيدتهم.

ومنذ ذلك الوقت أصبحت فلسطين عربية إسلامية فقد ظلت تحت سيطرة الخلافة الإسلامية منذ الخليفة عمر بن الخطاب ثم انتقلت إلى سيطرة الدولة الأموية، وحين قامت دولة بنى أمية لم يكن يعنى هذا أن السيادة تغيرت عليها؛ فالدولة الأموية مرحلة تاريخية ضمن الإطار الإسلامى العام.