يرجع سبب نشوء الحركة إلى خلاف وقع بين مجموعة من قياداتها مع قيادات حماس حول سياسة النفس الطويل في إعلان الجهاد ضد اليهود قبل اندلاع الانتفاضة، وعلى إثر هذا الخلاف تمكن د. فتحي الشقاقي الذي درس الطب في جامعة الزقازيق بالقاهرة من تجميع كوادر من الشباب الفلسطيني المسلم، وأعلن عن تشكيل الحركة عام 1978 م، وبعد تخرجه من الجامعة عاد إلى فلسطين، وبدأ في الاتصال بأفراد الحركة، وعرض عليهم الفكرة فوجد حماسا لدى الكثيرين منهم فشكل الخلايا، ووضع أطر التنظيم، وبدأت العمليات العسكرية ضد المحتلين.

تم اعتقال الشقاقي وعدد من زملائه بتهمة التحريض على الإرهاب، ونقل الأسلحة، والانتماء لحركة الجهاد الإسلامي، وفي تلك الفترة استطاع ستة من كوادر الحركة الهروب من السجن، وقاموا بتنفيذ عملية قتل فيها قائد الشرطة العسكرية في قطاع غزة، ووقعت مواجهات بين الفارين وقوات الاحتلال أدت إلى مقتل عدد من الإسرائيليين واستشهاد أعضاء الحركة الستة.

توالت العمليات العسكرية للحركة، ولكنها كانت متباعدة، وذلك لضعف التنظيم، واقتصار وجوده على قطاع غزة فقط.

تم إبعاد الشقاقي وعبد العزيز عودة إلى جنوب لبنان كرد إسرائيلي على العمليات العسكرية التي نفذتها الحركة، وذلك في 1/ 8/1988 م.

وخلال فترة الإبعاد قام الشقاقي، وزملاؤه بالاتصال بإيران، والحصول على تأييد ودعم مادي ومعنوي، وكان هذا من المآخذ التي تؤخذ على الحركة، حيث اضطرت معه إلى مجاملة النظام الإيراني واعتباره قدوة للمسلمين.

تبلور جناح الحركة العسكري، وأطلق عليه اسم سرايا القدس، وبدأ بتنفيذ عمليات نوعية بالتعاون مع حركة حماس في بعض الأحيان.

نتيجة لذلك عمد الموساد إلى وضع خطة لاغتيال الشقاقي، وتم تنفيذ المهمة في مالطا يوم 26/ 10/1995 م، وتولى رئاسة الحركة من بعده د. عبد الله رمضان شلح.