ثم صارت سدانة البيت ومفاتيحه الى خزاعة بن الأزد من بني كهلان بن سبإ من العرب العاربة وكانت منازلهم من حين تفرق عرب اليمن بسبب سيل العرم ببطن مر على القرب من مكة وصارت لهم الرياسة بسدانة البيت وبقيت السدانة بيدهم الى أن انتهت الى أبي غبشان سليمان بن عمرو الخزاعي في زمن بهرام جور بن يزدجرد من ملوك الفرس ورئيس قريش يومئذ قصي بن كلاب فاجتمع قصي مع أبي غبشان على شراب بالطائف فلما سكر أبو غبشان اشترى قصي سدانة البيت منه بزق خمر وتسلم مفاتيحه وأشهد عليه بذلك وأرسل ابنه عبد الدار بها الى البيت فرفع صوته وقال يا معشر قريش هذه المفاتيح مفاتيح بيت أبيكم إسماعيل قد ردها الله عليكم من غير عار ولا ظلم فلما صحا أبو غبشان ندم حيث لا ينفعه الندم ويقال أخسر من صفقة أبي غبشان وأكثر الشعراء القول في ذلك حتى قال بعضه
( باعت خزاعة بيت الله إذ سكرت ... بزق خمر فبئست صفقة البادي )
( باعت سدانتها بالنزر وانصرفت ... عن المقام وظل البيت والنادي )
ولما وقع ذلك عدت خزاعة على قصي فظهر عليهم وأجلاهم عن مكة وكان بمكة عرب يجيزون الحجيج الى الموقف وكان لهم بذلك رياسة فأجلاهم قصي عن مكة ايضا وانفرد بالرياسة قال العسكري في الأوائل وكان أول من نال الملك من ولد النضر بن كنانة
ولما تم لقصي ذلك بنى دار الندوة بمكة فكانت قريش تقضي فيها أمورها فلا تنكح ولا تشاور في أمر حرب ولا غيره إلا فيها ولم تزل الرياسة فيه وفي بنيه بعد ذلك فولد له من الولد عبد مناف وعبد الدار وعبد العزى
ثم انتقلت الرياسة العظمى بعد ذلك لبني عبد مناف وكان له من الولد هاشم وعبد شمس والمطلب ونوفل وكان هاشم أرفعهم قدرا وأعظمهم شأنا