لم يزل الشيخ حافظ مديرًا لمعهد صامطة العلمي حتى حجَّ في سنة 1377هـ، وبعد انتهائه من أداء مناسك الحج لبى نداء ربه في يوم السبت الثامن عشر من شهر ذي الحجة سنة 1377هـ بمكة المكرمة على إثر مرض ألمَّ به، وهو في ريعان شبابه، إذ كان عمره آنذاك خمسًا وثلاثين سنة ونحو ثلاثة أشهر، ودفن بمكة المكرمة، رحمه الله تعالى رحمة واسعة وأسكنه فسيح جناته

وقد كان وقع خبر وفاته على شيخه وعلى أهله وزملائه وأصدقائه وتلاميذه شديدًا، والمصيبة به فادحة، وقد رثاه بعض تلاميذه رثاء حارًا يعكس مدى الفاجعة التي أصابتهم بموته، من ذلك قصيدة {للشيخ الدكتور زاهر بن عواض الألمعي} ، يقول في أولها

لقد دوَّى على (المخلاف) صوتٌ ... نعى النحرير عالمها الهماما

تفجَّعت الجنوب وساكنوها ... على بدر بها يمحو الظلاما

وذاعت في الدنا صيحات خطب ... فهزَّت من فجائعها الأناما

فكفكفت الدموع على فقيد ... على الإسلام شمَّر واستقاما

وأحيا في الربوع بيوت علمٍ ... وواسى مقعدًا ورعى يتامى

أ (حافظ) كنت للعلياء قطبًا ... وللإسلام طودًا لا يسامى

وبحرًا في العلوم بعيد غور ... كثير النفع قوَّامًا إماما

وما مُتُّم فمنهجكم منار ... يضيء دروبنا وبها أقاما

وممن رثاه أيضًا تلميذه الأستاذ إبراهيم حسن الشعبي بقصيدة، نقتطف منها قوله

وخلف حسرة لي في الفؤاد ... توفِّي (حافظ) ركن البلاد

بما رحبت ولم تسع البوادي ... وقد ضاقت عليَّ الأرض ذرعًا

بنا نعي الفتى البطل العماد ... وساء الحال مني حين وافى

من الخيرات يا قطب النوادي ... لقد كنت المقدم في المزايا

فمن تختار بعدك للقياد؟ ... وكنت القائد المدعوَّ فينا

ومصباح البحوث بكل وادي ... سلاح للمشاكل كنت قدمًا

وهمتك العلية في ازدياد ... وفي كل العلوم مددتَ باعًا