بأمر من سماحة الحاج محمد أمين الحسيني تشكلت منظمة واحدة من معظم التنظيمات السرية الفلسطينية، أُطلق عليها (منظمة الجهاد الإسلامي) كي يتسنى للمجاهدين تنظيم شؤونهم النضالية، ومواجهة المستعمر بصورة أكثر دقة وشمولًا، واختير عبد القادر الحسيني قائدًا لهذه المنظمة.

قرر عبد القادر ولأسباب عديدة أن يتخذ بلدة (بير زيت) مقرًا لقيادة الجهاد المقدس، كما قسم فلسطين إلى مناطق قتالية، وولى على كل منطقة منها قائدًا من قادته، أما الخلايا السرية وقياداتها فظلت تابعة له مباشرة.

كان عبد القادر أول من أطلق النار إيذانًا ببدء الثورة على بطش المستعمر في 6 أيار 1936، حين هاجم ثكنة بريطانية (ببيت سوريك) شمالي غربي القدس، ثم انتقل من هناك إلى منطقة القسطل، بينما تحركت خلايا الثورة في كل مكان من فلسطين... وبلغت الثورة الفلسطينية أوج قوتها في تموز عام 1936، حيث انضم إليها من بقي من رفاق الشهيد عز الدين القسام، وبلغت أنباؤها العالم العربي كله، فالتحق بها المجاهدون العرب أفواجًا، وخاض الثوار العرب معارك بطولية ضد المستعمرين البريطانيين والصهاينة، ولعل أهم هذه المعارك كانت (معركة الخضر) الشهيرة في قضاء بيت لحم، وقد استشهد في هذه المعركة المجاهد العربي السوري سعيد العاص وجرح عبد القادر جرحًا بليغًا، وتمكنت القوات البريطانية من أسره، لكنه نجح في الفرار من المستشفى العسكري في القدس، بعد مغامرة رائعة قام بها المجاهدون من رفاقه فهاجموا القوة البريطانية التي تحرس المستشفى وأنقذوه وحملوه إلى دمشق حيث أكمل علاجه.عاد عبد القادر إلى فلسطين مع بداية عام 1938، وتولى قيادة الثوار في منطقة القدس، وقاد هجومات عديدة ناجحة ضد البريطانيين والصهاينة، ونجح في القضاء على فتنة دينية كان الانتداب البريطاني يسعى إلى تحقيقها ليوقع بين مسلمي فلسطين ومسيحيها.

وفي خريف عام 1938، جُرح عبد القادر ثانية في إحدى المعارك، فأسعفه رفاقه في المستشفى الإنجليزي في الخليل، ثم نقلوه خفية إلى سورية، فلبنان. ومن هناك نجح في الوصول إلى العراق بجواز سفر عراقي يحمل اسم محمد عبد اللطيف.

وفي بغداد عمل عبد القادر مدرسًا للرياضيات في المدرسة العسكرية في معسكر الرشيد، وفي إحدى المدارس المتوسطة، ثم التحق بدورة لضباط الاحتياط في الكلية العسكرية.

أيد عبد القادر ثورة رشيد عالي الكيلاني في العراق عام 1941، وشارك مع رفاقه في قتال القوات البريطانية، لكنه بعد فشل الثورة أُلقي القبض عليه مع رفاقه من قبل السلطات العراقية، وصدر عليهم الحكم بالسجن، وتحت ضغط الرأي العام العراقي والرموز الوطنية العراقية، استُبدل السجن بالنفي عشرين شهرًا إلى بلدة زاخو في أقصى شمال العراق.

كما مثُلت أمام المحكمة السيدة (وجيهة الحسيني) زوجة عبد القادر بحجة مساعدتها وإيوائها للثوار، وتحريضهم على القتال، وحكم عليها بالإقامة الجبرية في بيتها ببغداد مدة عشرين شهرًا.

وعلى أثر اغتيال فخري النشاشيبي في شارع الرشيد ببغداد، اتُهم عبد القادر بتدبير خطة الاغتيال هذه، فبقي موقوفًا في بغداد قرابة السنة بهذه التهمة .. ثم نقل إلى معتقل العمارة، وهناك أمضى ما يقرب من سنة أخرى، حيث أفرجت الحكومة العراقية عنه في أواخر سنة 1943، بعد أن تدخل الملك عبد العزيز آل سعود ملك العربية السعودية. فتوجه إلى السعودية وأمضى فيها عامين بمرافقة أسرته.

وفي مطلع عام 1944 تسلل عبد القادر من السعودية إلى ألمانيا، حيث تلقى دورة تدريب على صنع المتفجرات وتركيبها، ثم انتقل وأسرته إلى القاهرة وهناك وبسبب نشاطه السياسي وصلاته بعناصر من حزب مصر الفتاة وجماعة الإخوان المسلمين، وتجميعه الأسلحة، وتدريبه الفلسطينيين والمصريين على صنع المتفجرات، أمرت حكومة السعديين المصرية بإبعاده.. لكن الضغوط التي مارستها القوى الإسلامية المصرية حالت دون تنفيذ ذلك الإبعاد.

عندما علمت الهيئة العربية العليا نية الأمم المتحدة تقسيم فلسطين، سارعت الهيئة برئاسة المفتي أمين الحسيني إلى الانعقاد، وقررت مواجهة الخطط الاستعمارية الصهيونية بالقوة المسلحة، وتقرر إنشاء جيش فلسطين لممارسة الجهاد الفعلي، واختير المفتي قائدًا أعلى لهذا الجيش وأعاد تموين منظمة الجهاد المقدس، ثم حولها إلى جيش الجهاد المقدس الفلسطيني. وأسند قيادته العامة إلى عبد القادر الحسيني، بالإضافة لمهمة الدفاع عن القدس ورام الله وباب الواد.

وعندما أصدرت الأمم المتحدة قرارها القاضي بتقسيم فلسطين عام 1947، تسلل عبد القادر إلى فلسطين سرًا مع بعض رفاقه، وفي نفس الوقت اجتاز الحدود الفلسطينية عدد من المجاهدين القادمين من سورية ولبنان، والتقوا جميعًا بعبد القادر ، وأخذوا يرسمون خطة جديدة للبدء في المرحلة القادمة من الجهاد. فأعادوا تشكيل قوات الجهاد المقدس، واتخذت بلدة (بير زيت) مقرًا رئيسيًا لتلك القوات، وتألفت في حيفا والناصرة وجنين وغزة قوات أخرى تابعة لها.

تعتبر هذه القوات طليعة العمل النضالي العربي التي انبثقت تنظيماتها من صميم الشعب الفلسطيني، وكانت في الحقيقة أول مظهر من مظاهر القوات الشعبية التي تحمل في جوهرها صفة الجيش الشعبي في بلد كان يرزح تحت نير الاستعمار البريطاني.