وعندما اجتمع الحكمان - أبو موسى الأشعري وعمرو بن العاص - اتفقا على تأجيل التحكيم إلى رمضان، فرجع علي بمن معه من صفين إلى الكوفة، إلا أن الخوارج انقلبوا على موقفهم، وأعلنوا البراءة من التحكيم، ورأوا فيه ضلالا وكفرا، وهم الذين تهددوا عليا رضي الله عنه بقبوله والرضا به، ففارقوا الجماعة رأيا وفارقوها جسدا، إذ انحاز اثنا عشر ألفا منهم إلى حروراء، فأرسل إليهم عليٌ رضي الله عنه عبدَالله بن عباس رضي الله عنهما، وقال له: لا تعجل إلى جوابهم وخصومتهم حتى آتيك، فاستعجلوا محاورته فحاورهم رضي الله عنه، فلجوا في خصامه. فلما جاء علي أجابهم على ما نقموا عليه من أمر الحكمين، وكان مما اعترضوا عليه قولهم: خَبِّرْنا: أتَراهُ عَدْلًا تَحكيمَ الرجالِ في الدماء؟ فقال لهم علي رضي الله عنه: إنا لسنا حكمنا الرجال إنما حكمنا القرآن، وهذا القرآن إنما هو خط مسطور بين دفتين لا ينطق إنما يتكلم به الرجال. قالوا: فخَبِّرْنا عن الأجل لم جعلته بينكم؟ قال: ليعلم الجاهل ويتثبت العالم، ولعل الله يصلح في هذه الهدنة هذه الأمة، ادخلوا مصركم رحمكم الله. فدخلوا من عند آخرهم.

ولما دخلوا الكوفة أظهروا المعارضة مرة أخرى لقضية التحكيم، وعندما اعتزم علي أن يبعث أبا موسى للحكومة، أتاه زرعة بن البرح الطائي وحرقوص بن زهير السعدي من الخوارج وقالا له: تب من خطيئتك وارجع عن قضيتك واخرج بنا إلى عدونا نقاتلهم، وقال علي: قد كتبنا بيننا وبينهم كتابا وعاهدناهم، فقال حرقوص: ذلك ذنب تنبغي التوبة منه، فقال علي: ليس بذنب ولكنه عجز من الرأي، فقال زرعة: لئن لم تدع تحكيم الرجال لأقاتلنك أطلب وجه الله، فقال علي: بؤسا لك كأني بك قتيلا تسفى عليك الرياح، قال: وددت لو كان ذلك. وخرجا من عنده يناديان لا حكم إلا الله، وخطب علي يوما فتنادوا من جوانب المسجد بهذه الكلمة، فقال علي: الله أكبر كلمة حق أريد بها باطل، وخطب ثانيا فقالوا كذلك، فقال: أما إن لكم عندنا ثلاثا ما صحبتمونا، لا نمنعكم مساجد الله أن تذكروا فيها اسمه، ولا الفيء ما دمتم معنا، ولا نقاتلكم حتى تبدؤنا، وننتظر فيكم أمر الله.