توفي - رضي الله عنه - ليلة الأحد التاسع عشر من شهر رمضان سنة أربعين, وعمره ثلاثة وستون سنة. وقد قتل - رضي الله عنه - حينما كمن له عبدالرحمن بن ملجم ألمرادي هو وشبيب بن شجرة الأشجعي بسيفيهما قبالة السدة التي يخرج منها أمير المؤمنين علي بن أبي طالب - رضي الله عنه - فهرج لصلاة الصبح فبدر شبيب فأخطأه وضربه ابن ملجم على رأسه وقال: الحكم لله يا علي لا لق ولا لأصحابك, فقال علي - رضي الله عنه - فزت ورب الكعبة لا يفر منكم الكلب, وشد الناس عليه من كل جانب فحمل عليهم ابن ملجم فأفرجوا له فتلقاه المغيرة بن الحارث بن نوفل بن عبد المطلب فرمى عليه قطيفة كانت عنده واحتمله وضرب به الأرض وقعد على صدره, وقيل الذي فعل ذلك رجل من همدان, وجيء بابن ملجم إلى علي - رضي الله عنه - فنظر إليه وقال: النفس بالنفس إن أنا مت فاقتلوه كما قتلني وإن سلمت رأيت فيه رأي, فمات - رضي الله عنه - وأرضاه فقُتل ابن ملجم بعدما قطعت يداه ورجلاه وكحلت عينيه بمسامير الحديد محماة ثم قطع لسانه, ولما أرادوا قطع لسانه تمانع تمانعًا شديدًا مع أنه قطعت أعضاؤه ولم يتأوه فقيل له في ذلك فقال لئلا يفوتني من تلاوة القرآن شيء وأنا حي فشقوا شدقه وأخرجوا لسانه فقطعوه.
وكان بن ملجم لعنة الله قبل ذلك من العباد المعدودين حتى إن عمر بن الخطاب - رضي الله عنه - كتب إلى بعض عماله أن يوسع دار عبدالرحمن بن ملجم ليعلم الناس الفقه والقرآن.
ثم كان من شيعة أمير المؤمنين علي بن أبي طالب وشهد معه صفين ثم آل أمره إلى ما ترى فنسأل الله تعالى حسن الخاتمة في عافية.