فلما اقترب أمره جاء عبد الله بن الديلمي فقال له يرحمك الله يا معاذ لعلنا لا نلتقي نحن ولا أنت ابدا فقال معاذ أجلسوني فأجلسوه وجلس رجل خلف ظهره ووضع معاذ ظهره في صدر الرجل ثم قال بئس ساعة الكذب هذه حدثني رسول الله صلى الله عليه وسلم حديثا فكنت أكتمكموه مخافة أن تتكلوا فأما الآن فإني لا أكتمكموه سمعت رسول الله صلى الله عليه وسلم يقول إنه لا يموت عبد من عباد الله وهو يشهد أن لا إله إلا الله وحده لا شريك له وأن محمدا عبده ورسوله وأن الساعة آتية لا ريب فيها وإن الله يبعث من في القبور ويؤمن بالرسل وما جاءت به أنه حق ويؤمن بالجنة والنار إلا أدخله الله الجنة وحرمه على النار
ثم مات معاذ من ساعته يرحمه الله واستخلف عمرو بن العاص فصلى عليه عمرو ودخل قبره فوضعه في لحده ودخل معه رجال من المسلمين فلما خرج عمرو من قبره قال رحمك الله يا معاذ فقد كنت ما علمناك من نصحاء المسلمين ومن خيارهم وكنت مؤدبا للجاهل شديدا على الفاجر رحيما بالمؤمنين وأيم الله لا يستخلف من بعدك مثلك عمرو بن العاص
وكان مهلكه ومهلك أبي عبيدة رحمهما الله سنة ثمان عشرة وقد كان معاذ لما هلك أبو عبيدة كتب إلى عمر ينعاه
أما بعد فاحتسب امرأ كان لله أمينا وكان الله في نفسه عظيما وكان علينا وعليك يا أمير المؤمنين عزيزا أبا عبيدة بن الجراح غفر الله له ما تقدم من ذنبه وما تأخر فإنا لله وإنا إليه راجعون وعند الله نحتسبه وبالله نثق له كتبت إليك وقد فشا الموت وهذا الوباء في الناس ولن يخطئ أحد أجله ومن لم يمت فسيموت جعل الله ما عنده خيرا لنا من الدنيا وإن أبقانا أو هلكنا فجزاك الله عن جماعة المسلمين وعن خاصتنا وعامتنا رحمته ومغفرته ورضوانه وجنته والسلام عليك ورحمة الله