لم تزل الكعبة علي بناء قريش حتى احترقت في أول امارة عبد الله بن الزبير بعد سنة ستين من الهجرة، وفي آخر ولاية يزيد بن معاوية. وحينئذ استقل ابن الزبير بالحجاز ومصر لمدة ثماني سنوات. وفي عهده نقض ابن الزبير الكعبة وبناها علي قواعد إبراهيم وأدخل فيها حجر إسماعيل وجعل لها بابا شرقيا وبابا غربيا ملصقين بالأرض كما سمع من خالته عائشة أم المؤمنين عن رسول الله صلى الله عليه وسلم حيث سمعت منه أنه قال (لولا الناس حديث عهدهم بكفر وليس عندي من النفقة ما يقويني علي بنائها، لكنت أدخلت الحجر ولجعلت لها بابا يدخل الناس منه، وبابا يخرجون منه) قال ابن الزبير فأنا أجد من النفقة ولست أخاف الناس. ولابد من تحقيق رغبة النبي عليه الصلاة والسلام.
4.البناء الرابع: ـ لما قتل الزبير كتب الحجاج إلي عبد الملك يخبره أن ابن الزبير بني الكعبة علي غير ما بنته قريش. فكتب إليه عبد الملك أن يهدمها ويبنيها من جديد ويفصل حجر إسماعيل عنها ويجعل لها بابا واحدا ويرفعه عن الأرض نكاية في ابن الزبير.
ويقول المحققون إن ما فعله ابن الزبير هو الصواب، لأنه حقق أمنية لرسول الله صلى الله عليه وسلم ولكن خفيت هذه السنة علي عبد الملك بن مروان أو أراد أن يمحو ما فعله ابن الزبير. واعتبر البناء الرابع: بناء الحجاج.
وفي عهد هارون الرشيد أيام العباسيين أرادوا أن يزيلوا ما فعله بنو أمية، سأل الخليفة العباسي الإمام مالكا عن هدم الكعبة وردها إلي ما فعله ابن الزبير. فقال له الإمام مالك: يا أمير المؤمنين لا تجعل الكعبة ملعبة للملوك لا يشاء أحد أن يهدمها إلا هدمها. فترك الرشيد ذلك.
ولا تزال الكعبة إلي الآن علي بناء الحجاج إلا ما دخل فيها من تجديدات كتجديد الباب والسقف والشاذروان وما إلي ذلك في عهود العباسيين وسلاطين مصر والأتراك.
ومن هذا يتبين أن الكعبة بنيت أربع مرات (علي الوجه الصحيح) كما أسلفنا.