وكان لا يعرف أبا غير ربيعة بن حزام، زوج أمه؛ فشكى إليها ما عيروه به، فقالت له: يا ولدى أنت أكرم أبا منهم، أنت ابن كلاب بن مرة، وقومك بمكة عند البيت الحرام، فقدم لمكة، فعرف له قومه فضله وقدموه وأكرموه، وكانت خزاعة مستولية على البيت وعلى مكة وكان كبيرهم «خليل ابن حبشية الخزاعى» بيده البيت الشريف، وسدانته، فخطب إلى خليل ابنته، فعرف خليل نسبه؛ فزوجه ابنته حىّ، فتزوجها قصى، ك فكثرت أمواله وأولاده، وعظم بشرفه، وأوصى بمفتاح البيت الشريف لابنته حىّ، فقالت: لا أقدر على السدانة فجعلت ذلك لأبى غبشان، وكان يسكر يحب الخمر فأعوزه في بعض الأوقات ما يشربه من الخمر، فباع مفتاح البيت بزق خمر فاشتراه منه قصى، وصار في الأمثال أخسر صفقة من أبى غشان.

فلما صار المفتاح إلى قصى تناكرت خزاعة، وكثر كلامها عليه؛ فاجتمع على حربهم، فحاربهم وأخرجهم من مكة، وولى قصى أمر الكعبة ومكة، وجمع في قومه فملكوه على أنفسهم وكانوا يحترمون أن يسكنوا مكة ويعظمونها، على أن يبنوا بها بيتا مع بيت الله تعالى، وكانوا يكمنون بها نهارا، فإذا مسوا خرجوا إلى الحل، ولا يستحلون الجنابة بمكة، فلما جمع قصى قومه إليه أذن لهم يبنوا بيوتا بمكة مع بيت الله تعالى، وأن يسكنوا، وقال لهم: إنكم إن سكنتم حول الحرم هابتكم العرب، ولم تستحل قتالكم ولا يستطيع أحد إخراجكم؛ فقالوا له: أنت سيدنا، ورأينا تابع لرأيك.

وجمعهم حول البيت، وفى ذلك قال القائل:

أبوهم قصى كان يدعى مجمعا ... به جمع الله القبائل من فهر ...

وأنتم بنو زيد، وزيد أبوكم ... به زيدت البطحاء فخرا على فخر

وابتدأ هو فبنى دار الندوة، والندوة في اللغة «الاجتماع» ، وكانوا يجتمعون فيها للمشورة وغيرها من المهمات، فلا تنكح امرأة، ولا يتزوج رجل من قريش إلا فيها.

قال الأزرقى: «ولم يدخل من قريش ولا غيرهم إلا ابن أربعين سنة، وكان ولد قصى يدخلها كلهم أجمعين» .