لما آل الأمر للحجاج تدخلت أصابع السياسية هنا، وكان كل يريد أن يضع من الآخر، ولم يكن الحجاج محبًا لـ عبد الله، ولو تركه لذكر في التاريخ وخلد فعل عبد الله بن الزبير، فهدم الكعبة وردها كما كانت على عهد النبي صلى الله عليه وسلم، وحتى الباب الثاني الذي فتحه عبد الله بن الزبير أعاد إقفاله، والآن الذي يأتي البيت مثلًا أيام الحج يجدها مرتفعة، وإذا تجاوز الحجر يجد رسم الباب واضحًا لو دقق واستصحب أصلًا أن هناك بابًا موازيًا للباب الأساسي إلا قليلًا، فيجد الباب واضحًا في البناء القديم.