واتخذ لنفسه"دار الندوة"وجعل بابها إلى مسجد الكعبة، ففيها كانت قريش تقضي أمورها. قال السهيلي:"ولفظها مأخوذ من لفظ الندا، والنادي والمنتدى هو مجلس القوم الذي يندون حوله أي يذهبون قريبا منه ثم يرجعون. وهذه الدار تصيرت من بني عبد الدار إلى حكيم بن حزام بن خويلد بن أسد بن عبد العزى ابن قصي، فباعها في الإسلام بمائة ألف درهم وذلك في زمن معاوية، فلامه معاوية على ذلك وقال: بعت مكرمة آبائك وشرفهم. فقال حكيم: ذهبت المكارم إلا التقوى، والله لقد اشتريتها في الجاهلية بزق خمر وبعتها بمائة ألف درهم وأشهدكم أن ثمنها في سبيل الله، فأينا المغبون؟ ذكر هذا الخبر الدارقطني في أسماء رجال الموطأ له". انتهى.
فلما كبر قصي، وكان عبد الدار بكره، وكان عبد مناف قد شرف في زمان أبيه وعبد العزى وعبد، قال قصي لعبد الدار: أما والله يا بني لألحقنك بالقوم وإن شرفوا عليك، لا يدخل رجل منهم الكعبة حتى تكون أنت تفتحها له، ولا يعقد لقريش لواء لحربها إلا بيدك، ولا يشرب رجل من مكة إلا من سقايتك، ولا يأكل أحد من أهل الموسم إلا من طعامك، ولا تقطع قريش أمرا من أمورها إلا في دارك. فأعطاه الحجابة واللواء والسقاية والرفادة. وكانت الرفادة خرجا تخرجه قريش في كل موسم من أموالها إلى قصي بن كلاب فيصنع به طعاما للحجاج فيأكله من لم يكن له سعة ولا زاد، وذلك أن قصيا فرض على قريش فقال لهم: إنكم جيران الله وأهل بيته وأهل الحرم، وإن الحجاج ضيف الله وزوار بيته، وهم أحق الضيف بالكرامة، فاجعلوا لهم طعاما وشرابا أيام الحج حتى يصدروا عنكم، ففعلوا. فكانوا يخرجون لذلك كل عام من أموالهم خرجا فيدفعونه إليه، فيصنع به طعاما للناس أيام منى، فجرى ذلك من أمره في الجاهلية حتى قام الإسلام، ثم جرى في الإسلام، فهو الطعام الذي يصنعه السلطان كل عام بمنى للناس حتى ينقضي الحج.