عاش القسام ورفاقه في حيفا، ونزلت عائلاتهم في بيت واحد في الحي القديم من المدينة، وهو الحي الذي يجمع فقراء الفلاحين النازحين من قراهم بعد الاستيلاء عليها وتوطين اليهود المهاجرين إلى فلسطين.
أبدى القسام اهتماماً حقيقياً بتحسين أحوال معيشة هؤلاء الفلاحين، وبدأ يكافح الأمية في صفوفهم من خلال إعطاء دروس ليلية، وسرعان ما أصبح فلاحو المنطقة الشمالية وعمالها يكنون له المودة والاحترام بفضل زياراته المتكررة لهم وبما يتسم به من أصالة في الخلق والتقوى.
عمل القسام مدرساً في المدرسة الإسلامية بحيفا، وكان يحرص على لفت أنظار الطلاب إلى الدور المستقبلي الذي ينتظرهم في ظل وجود الاستعمار، ثم عمل إماماً وخطيباً في جامع الاستقلال بموافقة من مفتي القدس وزعيم الحركة الوطنية الحاج محمد أمين الحسيني، واتجه القسام في أسلوبه إلى توعية الشعب الفلسطيني بالأخطار الماثلة أمامه، وكان يكثر من القول: (بأن اليهود ينتظرون الفرصة لإفناء شعب فلسطين، والسيطرة على البلد وتأسيس دولتهم)
كما كان للشيخ القسام دروس في المسجد تقام عادة بين الصلوات المفروضة، وقد جعل منها وسيلة لإعداد المجاهدين وصقل نفوسهم وتهيئتها للقتال، معتمداً اختيار الكيفية دون الكمية.