فسار حتى قدم المدينة فقاتلوه أهل المدينة فظفر بهم ودخلها، وقتل من قتل منهم، وأسرف في القتل، فسمي بذلك مسرفًا، وانهب المدينة ثلاثًا، ثم سار إلى مكة، فلما كان ببعض الطريق حضرته الوفاة، فدعا الحصين بن نمير فقال له يا برذعة الحمار، لولا اني أكره أن أتزود عند الموت معصية أمير المؤمنين ما وليتك، أنظر إذا قدمت مكة فاحذر أن تمكن قريشًا من أذنك فتبول فيها، لا تكن إلا الوقاف، ثم الثقاف، ثم الانصراف، فتوفي مسلم المسرف، ومضى الحصين بن نمير إلى مكة، فقاتل ابن الزبير بها أيامًا، وجمع ابن الزبير أصحابه، فتحصن بهم في المسجد الحرام وحول الكعبة، وضرب أصحاب ابن الزبير في المسجد خيامًا ورفافًا يكتنون فيها من حجارة المنجنيق ويستظلون فيها من الشمس، وكان الحضين بن نمير، قد نصب المنجنيق على أبي قبيس وعلى الأحمر وهما أخشبا مكة فكان يرميهم بها فتصيب الحجارة الكعبة، حتى تخرقت كسوتها عليها، فصارت كأنها جيوب النساء، فوهن الرمي بالمنجنيق الكعبة، فذهب رجل من أصحاب ابن الزبير يوقد نارًا في بعض تلك الخيام، مما يلي الصفا بين الركن الأسود والركن اليماني، والمسجد يومئذ ضيق صغير، فطارت شرارة في الخيمة فاحترقت، وكانت في ذلك اليوم رياح شديدة، والكعبة يومئذ مبنية بناء قريش مدماك من ساج، ومدماك من حجارة من أسفلها إلى أعلاها، وعليها الكسوة، فطارت الرياح بلهب تلك النار فاحترقت كسوة الكعبة واحترق الساج الذي بين البناء، وكان احتراقها يوم السبت لثلاث ليال خلون من شهر ربيع الأول قبل أن يأتي نعي يزيد ابن معاوية بسبعة وعشرين يومًا، وجاء نعيه في هلال شهر ربيع الآخر ليلة الثلاثاء سنة أربع وستين، وكان توفي لأربع عشرة خلت من شهر ربيع الأول سنة أربع وستين؛ وكانت خلافته ثلاث سنين وسبعة أشهر.