يقطعان المنازل لمن ورد عليهما من قومهما وكثروا وربلوا وأعجبتهم البلاد وكانوا قومًا عربًا وكان اللسان عربيًا، فكان إبراهيم خليل الله عليه السلام يزور إسماعيل عليه السلام فلما سمع لسانهم وإعرابهم سمع لهم كلامًا حسنًا ورأى قومًا عربًا وكان إسماعيل قد أخذ بلسانهم أمر إسماعيل أن ينكح فيهم فخطب إلى مضاض ابن عمرو ابنته رعلة فزوجه اياها فولدت له عشرة ذكور وهي أم البيت وهي زوجته التي غسلت رأس إبراهيم حين وضع رجله على المقام، قالوا: وتوفي إسماعيل ودفن في الحجر وكانت أمه قد دفنت في الحجر أيضًا وترك ولدًا من رعلة ابنة مضاض بن عمرو الجرهمي فقام مضاض بأمر ولد إسماعيل وكفلهم لأنهم بنو ابنته فلم يزل أمر جرهم يعظم بمكة ويستفحل حتى ولوا البيت فكانوا ولاته وحجابه وولاة الأحكام بمكة فجاء سيل فدخل البيت فانهدم فأعادته جرهم على بناء إبراهيم عليه السلام وكان طوله في السماء تسعة أذرع. وقال بعض أهل العلم كان الذي بنى البيت لجرهم أبو الجدرة فسمي عمرو الجادر وسموا بنو الجدرة، قال: ثم إن جرهمًا استخفوا بأمر البيت والحرم، وارتكبوا أمورًا عظامًا، واحدثوا فيها أحداثًا لم تكن. فقام مضاض بن عمرو بن الحارث فيهم فقال: يا قوم احذروا البغي فإنه لا بقاء لأهله قد رأيتم من كان قبلكم من العماليق استخفوا بالحرم فلم يعظموه وتنازعوا بينهم واختلفوا حتى سلطكم الله عليهم فاخرجتموهم فتفرقوا في البلاد فلا تستخفوا بحق الحرم وحرمة بيت الله ولا تظلموا من دخله وجاءه معظمًا لحرمته أو آخر جاء بايعًا لسلعته أو مرتغبًا في جواركم فانكم إن فعلتم ذلك تخوفت أن تخرجوا منه خروج ذل وصغار حتى لا يقدر أحد منكم أن يصل إلى الحرم ولا إلى زيارة البيت الذي هو لكم حرز وأمن والطير يأمن فيه، قال قائل منهم: يقال له مجدع من الذي يخرجنا منه ? ألسنا أعز العرب وأكثرهم رجالًا وسلاحا ? فقال مضاض ابن عمرو: إذا جاء الأمر بطل ما تقولون.