ولم يزالوا به حتى رجع إلى الشام فلما أدبر جيش الحصين بن نمير، وكان خروجه من مكة لخمس ليال خلون من ربيع الآخر سنة أربع وستين، دعا ابن الزبير وجوه الناس وأشرافهم وشاورهم في هدم الكعبة، فأشار عليه ناس غير كثير، بهدمها، وأبى أكثر الناس هدمها، وكان أشدهم عليه اباء عبد الله ابن عباس، وقال له: دعها على ما أقرها عليه رسول الله) ص (، فاني أخشى أن يأتي بعدك من يهدمها، فلا تزال تهدم وتبنى فيتهاون الناس في حرمتها، ولكن ارقعها، فقال ابن الزبير: والله ما يرضى أحدكم ان يرقع بيت أبيه وأمه، فكيف أرقع بيت الله سبحانه، وأنا أنظر إليه ينقض من أعلاه إلى أسفله، حتى أن الحمام ليقع عليه فتتناثر حجارته؛ وكان ممن أشار عليه بهدمها جابر بن عبد الله وكان جاء معتمرًا وعبيد بن عمير وعبد الله بن صفوان بن أمية، فأقام أيامًا يشاور وينظر ثم أجمع على هدمها، وكان يحب أن يكون هو الذي يردها على ما قال رسول الله) ص (على قواعد إبراهيم، وعلى ما وصفه رسول الله) ص (لعائشة رضي الله عنها، فأراد أن يبنيها بالورس ويرسل إلى اليمن في ورس يشترى له، فقيل له: إن الورس يرفت ويذهب، ولكن ابنها بالقصة، فسأل عن القصة فأخبر ان قصة صنعاء هي أجود القصة، فأرسل إلى صنعاء بأربع مائة دينار يشترى له بها قصة ويكترى عليها، وأمر بتنجيح ذلك، ثم سأل رجالًا من أهل العلم من أهل مكة، من أين أخذت قريش حجارتها ? فأخبروه بمقلعها، فنقل له من الحجارة قدر ما يحتاج إليه، فلما اجتمعت الحجارة وأراد هدمها خرج أهل مكة منها إلى منى، فأقاموا بها ثلاثًا فرقًا من أن ينزل عليهم عذاب لهدمها، فأمر ابن الزبير بهدمها، فما اجترأ أحد على ذلك، فلما رأى ذلك، علاها هو بنفسه فأخذ المعول وجعل يهدمها ويرمي بحجارتها، فلما رأوا أنه لم يصبه شيء، اجترأوا فصعدوا يهدموها، وارقى ابن الزبير فوقها عبيدًا من الحبش يهدمونها، رجاء أن يكون فيهم صفة الحبشي، الذي قال رسول الله) ص (: يخرب