والإخلال بالنظام، فلم يسع عليًا إلا أن يعلن عليهم الحرب، ويشتت شملهم. واتفق الحكمان في الوقت المحدد لهما على أن يتنحى عليّ ومعاوية عن الخلافة، وأعلن ممثل عليّ خلعه، ولكن عمرًا لم يخلع معاوية بل ثبته خليفة للمسلمين. وفي هذا الاضطراب هجم رجل من الخوارج على عليَّ بالقرب من الكوفة وطعنه في رأسه بسيف مسموم (661) . وأصبح المكان الذي مات فيه عليَّ مزارًا مقدسًا عند طائفة الشيعة التي تقدسه أعظم التقديس، واتخذت ضريحه مكانًا تحج إليه كما يحج سائر المسلمين إلى مكة نفسها.
وبايع المسلمون في العراق الحسن بن عليّ بالخلافة، وزحف معاوية على الكوفة، فاستسلم له الحسن، وقرر له معاوية مالًا يعيش منه، وانسحب الحسن إلى مكة، ومات في الخامسة والأربعين من عمره (669) ، فمن قائل إن الخليفة دس له السم، ومن قائل إن زوجة من زوجاته دفعتها الغيرة إلى أن تدسه له. وبايع المسلمون جميعًا معاوية على كره منهم، ولكنه أراد أن يضمن السلامة لنفسهِ، ورأى أن المدينة بعيدة عن مركز العالم الإسلامي والسلطة الإسلامية، فاتخذ دمشق مقرًا للخلافة. وهكذا انتصرت الأرستقراطية القرشية على الهاشميين آل بيت النبي، واستحالت"الجمهورية"الدينية، وهي الحكومة التي كانت قائمة أيام الخلفاء الراشدين، ملكية دنيوية وراثية. وحل حكم الساميين في غرب آسية محل حكم الفرس والروم، وطهرت آسية من تلك السيطرة الأوربية التي ظلت قائمة فيها ألف عام، وشكلت بلاد الشرق الأدنى ومصر وشمالي أفريقية بالشكل الذي احتفظت به في جوهره ثلاثة عشر قرنًا من الزمان.