لم يدم بناء ابن الزبير للكعبة طويلًا، فقد أرسل عبد الملك بن مروان جيشًا كبيرًا إلى مكة بقيادة الحجاج بن يوسف الثقفي، فسيطر عليها، وقتل ابن الزبير رضي الله عنه، وكتب إلى الخليفة الأموي أن ابن الزبير قد زاد في الكعبة ما ليس منها، فأذن له بتعديل بناء الكعبة، وإعادته على ما كانت عليه في عهد قريش، فعدَّل الحجاج بناءها عام (74 هـ/ 693 م) ، حيث أغلق الباب الغربي، ورفع الباب الشرقي، وهدم الجدار الشمالي فأخرج من الكعبة (6 أذرع وشبرًا) إلى جهة الحِجْر، ولم يغير ارتفاعها، وتذكر بعض الروايات التاريخية أن عبد الملك بن مروان لما علم أن ابن الزبير اعتمد في بنائه حديث عائشة رضي الله عنها، ندم على إذنه للحجاج بتغيير البناء.
وفي عهد السلطان مراد خان العثماني تهدمت الكعبة المشرفة بسبب الأمطار الغزيرة والسيول حتى وصل الماء فيها إلى منتصف جدار الكعبة، فأمر بإعادة بناء الكعبة عام (1040 هـ/1630 م) على ما كانت عليه، وهذه العمارة هي الباقية حتى يومنا هذا.
وكان الخلفاء والسلاطين والأمراء على مر العصور يبادرون إلى إصلاح أي خلل يقع فيها، وفي عام (1417 هـ) أمر خادم الحرمين الشريفين الملك فهد بن عبد العزيز -يرحمه الله- بعمل إصلاحات شاملة للكعبة المشرفة، فتم تقوية الأساسات، وإصلاح الشاذروان والحلقات، وصقل الجدران الخارجية، وسدِّ الفجوات بين أحجارها، وتغيير سقفي الكعبة بسقفين جديدين.