3.بناء عبد الله بن الزبير: البناء الثالث. لم تزل الكعبة على بناء قريش حتى احترقت في أول إمارة عبد الله بن الزبير بعد سنة ستين من الهجرة، وفي آخر ولاية يزيد بن معاوية. وحينئذ استقل ابن الزبير بالحجاز ومصر لمدة ثماني سنوات. وفي عهده نقض ابن الزبير الكعبة وبناها على قواعد إبراهيم وأدخل فيها حجر إسماعيل وجعل لها بابًا شرقيًا وبابًا غربيًا ملصقين بالأرض كما سمع من خالته عائشة أم المؤمنين عن رسول الله صلى الله عليه وسلم حيث سمعت منه أنه قال (لولا أن الناس حديث عهدهم بكفر وليس عندي من النفقة ما يقويني على بنائها، لكنت أدخلت الحجر ولجعلت لها بابًا يدخل الناس منه، وبابًا يخرجون منه) قال ابن الزبير فأنا أجد من النفقة ولست أخاف الناس. ولا بد من تحقيق رغبة النبي عليه الصلاة والسلام.
4.البناء الرابع: - لما قتل ابن الزبير كتب الحجاج إلى عبد الملك يخبره أن ابن الزبير بنى الكعبة على غير ما بنته قريش. فكتب إليه عبد الملك أن يهدمها ويبنيها من جديد ويفصل حجر إسماعيل عنها ويجعل لها بابًا واحدًا ويرفعه عن الأرض نكاية في ابن الزبير.
ويقول المحققون أن ما فعله ابن الزبير هو الصواب، لأنه حقق أمنية لرسول الله صلى الله عليه وسلم ولكن خفيت هذه السنة على عبد الملك بن مروان أو أراد أن يمحو ما فعله ابن الزبير. واعتبر البناء الرابع: بناء الحجاج.
وفي عهد هارون الرشيد أيام العباسيين أرادوا أن يزيلوا ما فعله بنو أمية، سأل الخليفة العباسي الإمام مالكًا عن هدم الكعبة وردها إلى ما فعله ابن الزبير. فقال له الإمام مالك: يا أمير المؤمنين لا تجعل الكعبة ملعبة للملوك لا يشاء أحد أن يهدمهما إلا هدمها. فترك الرشيد ذلك.
ولا تزال الكعبة إلى الأن على بناء الحجاج إلا ما دخل فيها من تجديدات كتجديد الباب والسقف والشاذروان وما إلى ذلك في عهود العباسيين وسلاطين مصر والأتراك.