وبناءًا على هذه المقدمات الفاسدة وهذا المنهج الفاسد كان الخوارج يكفرون الحكام والولاة والأمراء في الخلافة الأموية والخلافة العباسية، ومعاركهم مع الخلفاء الأمويين والخلفاء العباسيين أشهر من أن نتحدث عنها خاصّة مع الحجّاج، ومن ذلك قتاله لأحد الخوارج وهو خارجي مشهور شبيب بن يزيد، وكان من الشجعان الذي لا يشق لهم غبار، وهي صفة منتشرة بين الخوارج كلهم لأنهم يعتقدون أن بدعتهم هي الدين الحق.

وشبيب بن يزيد هذا خاض مع الحجاج أعتى الأمراء الأمويين وأكثرهم تجبرًا ستين حربًا، هزم للحجاج عشرين جيش وذلك على مدى سنتين فقط، بل بلغ به الأمر أكثر من ذلك؛ بلغ به الأمر أنّه أقسم أن يدخل الكوفة عقر دار الخلافة، وأن يدخل مسجدها الجامع، وأن يصلي فيه، وأن يخطب فيه، بل أقسم أن يجعل زوجه غزالة ترتقي منبر الجامع الأموي في الكوفة وتخطب عليه، وبالفعل دخل الكوفة هو وطائفة معه وقتلوا كل من وقفوا أمامه، ودخلت معه 200 إمرأة من نساء الخوارج مدججات بالسيوف والرماح، وقتل الحامية التي كانت في الكوفة وقتل حرس المسجد الجامع في الكوفة، وقتل المعتكفين داخل المسجد، وجعله عزالة تدخل المسجد وترتقي المنبر وتخطب فيه.

وحصلت قصة لطيفة بين الحجاج وبين تلك العزالة، وهي أنه قابلها في إحدى المعارك فلم يستطع أن يصمد أمامها، وكان في الخوارج بأس كبير حتى في نسائهم، فهرب الحجاج منها، فعيّره أحد الشعراء فقال:

أَسَدٌعليَّوَفِيالْحُرُوبِنَعَامَةٌ ** فَتْخَاءُتَنْفِرُمِنْصَفِيرِالصَّافِرِ

هَلَّابَرَزْتَإلاغزالةفيالوغا ** بَلْكَانَقَلْبُكَفِيجَنَاحَيْطَائِرِ

وهذا كلام حسن فالحجاج الظالم المتجبر فرّ من تلك المرأة.

وبعد أن قتل شبيب تولت الخلافة بعده غزالة، فنصّب الخوارج غزالة الإمارة لشجاعتها وبأسها، وأسقطوها الإمامة.