فذكره بصحبته لعلي بن أبي طالب رضي الله عنهما، فقال يا أمير المؤمنين إن القلوب التي أبغضناك بها بين جوانحنا، والسيوف التي قاتلناك بها على عواتقنا، فإن شئت رددناها جذعة وإن شئت استصفيتنا بحلمك، قال: أجل.

توفي الأحنف بالكوفة سنة 69 ه‍وخرج مصعب بن الزبير في جنازته ماشيا بغير أزار وهو أول أمير صنع ذلك في جنازة كبير، ولما وضع في لحده جاءت امرأة فقالت: لله درك من مدرج في كفن نسأل الله الذي فجعنا بك أن يوسع لحدك، ويكون ذلك يوم حشرك أما والذي كنت من أمره الوحدة، لقد عشت حميدا ومودودا، ومت شهيدا مفقودا، ولقد كنت من الناس قريبا وفي الناس غريبا، فرحمة الله عليك، وإنما المرء حديث بعده لكن حديثا حسنا لمن روى.