وفي الجاهلية أيضا كان خويلد أبو خديجة أم المؤمنين رضي الله عنه واحدًا من رجالات قريش الذين سجّل التاريخ لهم مآثر في مكّة المكرّمة من أعظمها مأثرة الدفاع عن الكعبة يوم هاجمها تبع ، وأراد أن يحمل الحجر الأسود إلى اليمن .. لقد قاد خويلد جماعة من رجالات قريش ، ونازع تبعًا ليصدّه عن أخذ الحجر الأسود ، ونقله من مكانه في الكعبة المكرّمة ، فحال الله دون ما أراد تبع ، ولم يقدر على ما أراد .قال ابن الأثير: « وهو ـ خويلد ـ الذي نازع تبعًا حين أراد أخذ الحجر الأسود إلى اليمن ، فقام في ذلك الوقت خويلد ، وقام معه جماعة من قريش ، ثمّ رأى تبع في منامه ما روّعه ، فنزع عن ذلك ، وترك الحجر الأسود في مكانه »

وفي حياة الرسول صلى الله عليه وسلم وقبل مبعثه الشريف أصاب الكعبة حريق صدّعَ بنيانها، وأوهن حجارتها، فحارت قريش في أمرها، وترددوا في هدمها، حتى تقدم الوليد بن المغيرة فاقتلع أول حجر منها، وشارك النبي صلى الله عليه وسلم وهو شاب في نقل حجارتها مع الناقلين من بني هاشم، وهو الذي وضع الحجر الأسود في مكانه، فاستقر ببركة جهوده، بعد أن اختلف الناس واحتكموا إلى أول داخل للبيت، فكان هو صلى الله عليه وسلم أول داخل للكعبة ، فاتفقوا على تحكيمه في قصة مشهورة ترويها كتب السيرة الشريفة.

ولم يعتر الحجر الأسود نقل أو تغييب من عهد قصي إلى بناء عبد الله بن الزبير وهو أول من ربط الحجر الأسود بالفضة عندما تصدع من الأحداث التي جرت عام (64 هـ) حيث احترقت الكعبة بسبب الحرب بين ابن الزبير الذي تحصَّن داخلها ، وقائد يزيد - الحصين بن النمير- الذي رمى الكعبة بالمنجنيق ، وتطايرت النار وأحرقتها، وتكررت الفعلة سنة (73 هـ) على يد الحَجّاج ، ثم أضاف إليه الخليفة العباسي هارون الرشيد تنقيبه بالماس وأفرغ عليه الفضة