تاريخيًا: بقي البيت محط أنظار العرب و المسلمين ممن بقوا على ملة إبراهيم وحتى بعد أن تغير الناس بقي البيت محفوفًا بالمهابة محفوفًا بعناية الحكام والأمراء و مشايخ القبائل و أشباههم من أعيان الناس حتى قيل إن جرهم وهي القبيلة العربية التي كانت تسكن مكة بنت البيت وجددت بناءه ثم جددته قريش لما داهمه السيل فجمعوا أطيب أموالهم الطيب من أموالهم وتخلصوا من الأموال الربوية وهم قرشيون كفار آنذاك ثم بدا لهم أن يهدموا البيت ليعيدوا بناءه فهابوا هدمه فكان أول من تقدم لهدمه الوليد بن المغيرة فهدم حجرًا حجرًا منه فلما اطمأن الناس أن الوليد لم يصب بأذى أقبلت باقي قريش تساعد الوليد في قضية هدم البيت ثم أعادوا بناءه إلا أن النفقة أي المال المخصص لبناء البيت قَصُر بهم فلما قصُر بهم جعلوا الركنين اليمانيين الركن اليماني و الحجر الأسود جعلوهما على قواعد إبراهيم أما ماكان من جهة الشام فقصرت بهم النفقة فأخرجوا جزءًا من البيت لم يكملوه و هو ما يعرف اليوم بحجر إسماعيل و سيأتي تفصيله قصرت بهم النفقة على هذا الحال فبنوا البيت كما قلنا بعضه على قواعد إبراهيم وبعضه على غير قواعد إبراهيم .