ولم يزل على ذلك حتى كان زمن عبد الله بن الزبير، فهدم الكعبة وردها إلى قواعد إبراهيم، وزاد في طولها في السماء تسعة أذرع أخرى على بناء قريش، فصارت في السماء سبعة وعشرين ذراعًا، وأوطأ بابها في الأرض، وفتح في ظهرها بابًا آخر مقابل هذا الباب.
فكانت على ذلك حتى قتل ابن الزبير وظهر الحجاج، وأخذ مكة، ثم كتب إلى عبد الملك بن مروان يأمره أن يهدم ما كان ابن الزبير زاد من الحجر في الكعبة، ففعل، وردها إلى قواعد قريش التي استقصرت في بطن البيت، وكبسها بما فضل من حجارتها، وسد بابها الذي في ظهرها، ورفع بابها هذا الذي في وجهها والذي هي عليه اليوم من الذرع.