حتى أفضى إلى قواعد إبراهيم، فأمرهم أن يزيدوا في الحفر، فحركوا حجرا منها فرأوا تحته نارا وهولا أفزعهم، فأمروا أن يقروا القواعد وأن يبنوا من حيث انتهى الحفر. وفي الخبر أنه سترها حين وصل إلى القواعد فطاف الناس بتلك الأستار، فلم تخل قط من طائف، حتى لقد ذكر أن يوم قتل ابن الزبير اشتدت الحرب واشتغل الناس فلم ير طائف طائف يطوف بالكعبة إلا جمل يطوف بها، فلما استتم بنيانها ألصق بابها بالأرض، وعمل لها خلفا أي بابا آخر من ورائها وأدخل الحجر فيها وذلك لحديث حدثته به خالته عائشة عن رسول الله صلى الله عليه وسلم أنه قال:"ألم تر أن قومك حين بنوا الكعبة اقتصروا على قواعد إبراهيم حين عجزت بهم النفقة"ثم قال:"لولا حدثان قومك بالجاهلية لهدمتها وجعلت لها خلفا وألصقت بابها بالأرض وأدخلت فيها الحجر"أو كما قال عليه الصلاة والسلام. قال ابن الزبير:"فليس بنا اليوم عجز عن النفقة"فبناها على مقتضى حديث عائشة، فلما قام عبد الملك بن مروان قال:"لسنا من تخليط أبي خبيب"، فهدمها وبناها على ما كانت عليه في عهد رسول الله صلى الله عليه وسلم. فلما فرغ من بنائها جاءه الحارث بن أبي ربيعة المعروف بالقناع، وهو أخو عمر بن أبي ربيعة الشاعر ومعه رجل آخر، فحدثه عن عائشة بالحديث المتقدم، فندم وجعل ينكث في الأرض بخصرة في يده ويقول:"وددت أني تركت أبا خبيب وما تحمل من ذلك". فهذه المرة الخامسة. فلما قام أبو جعفر المنصور أراد أن يبنيها على ما بناها ابن الزبير فشاور في ذلك فقال له مالك بن أنس:"أنشدك الله يا أمير المؤمنين، ولن يجعل الله هذا البيت ملعبة للملوك من بعدك لا يساء أحد منهم أن يغيره إلا غيره، فتذهب هيبته من قلوب الناس"، فصرفه عن رأيه فيه.

وكانت الكعبة قبل أن يبنيها شيت خيمة من ياقوتة حمراء يطوف بها آدم ويأنس بها، لأنها أنزلت من الجنة، وكان قد حج إلى موضعها من الهند، وقد قيل أيضا: إن آدم أول من بناها، ذكره ابن إسحاق في غير رواية البكائي. وذكر ابن إسحاق أن الماء لم يعلها حين الطوفان. ويذكر أن يعرب قال لهود عليه السلام:"ألا نبنيه؟"قال:"إنما يبنيه نبي كريم يأتي من بعدي يتخذه الرحمن خليلا". فلما نصح ماء الطوفان كان مكان البيت ربوة من مدرة وحج إليه هود وصالح ومن آمن معهما وهو كذلك. فلما بعث الله إبراهيم ونبت إسماعيل