هذا الإمام الجليل كان يحج سنة ويجاهد أخرى ، حتى أنه مات بعد انصرافه من الجهاد ، فتوفي في " هيت " في رمضان سنة 181 هجرية .قال الحسن بن الربيع : " خرج فارس من المسلمين ملثم ، فقتل فارسـًا من العدو كان قد فعل بالمسلمين ، فكبر له المسلمون ، فدخل في غمار الناس ، ولم يعرفه أحد فتتبعته حتى سألته بالله أن يرفع لثامه فعرفته ، وقلت : أخفيت نفسك مع هذا الفتح العظيم ، الذي يسره الله على يدك ؟ فقال : الذي فعلت له لا يخفى عليه " .وكان هذا الفرس الملثم هو ابن المبارك . يقول ابن خلكان عن هذا الإمام الجليل : " هو الحافظ شيخ الإسلام المجاهد ، التاجر ، صاحب التصانيف والرحلات ، جمع الحديث والفقه والعربية وأيام العرب والشجاعة والسخاء ، وله كتاب في الجهاد ، وهو أول من صنف فيه . "وكان داعيـًا له بحماس لذلك يقول في الدعوة إلى الجهاد في رسالته إلي الفضيل بن عياض :يا عابـد الحرمين لو أبصـرتنا لعلـمت أنك في العبـادة تلعبمن كان يخضب خده بدمـوعه فنحـــورنا بدمائنا تتخضبأو كان يتعب خيله في باطــل فخيولنا يوم الصبيحـة تتعبريح العبير لكم ونحـن عبيرنا رهج السنابك والغبار الأطيبولقــد أتانـا من مقـال نبينا قول صحيح صادق لا يكذبلا يستوي غبار خيـل الله في أنف امرئ ودخان نـار تلهبهذا كتاب الله ينطـــق بينا ليس الشهيد بميت لا يكـذب