و نيز از كلبي نقل است كه چون اولاد اسماعيل در مكه زياد شدند به طوري كه مكه را پُر كردند و عماليق را آز آنجا راندند، مكه برايشان تنگ شد و جنگ و خصومت بين خودشان رخ داد و بعضي، بعضي ديگر را بيرون كردند. پس در جستجوي معاش به سرزمينها پراكنده شدند و هر كدام از آنها كه از مكه بيرون مي رفت تكه اي از سنگهاي حرم به همراه مي بُرد تا حرمت مكه را حفظ كرده باشد و هر جا ساكن مي شد آن سنگ را نصب مي كرد و به ياد كعبه دور آن طواف مي نمود، و نيز همه ساله مكه و كعبه را زيارت مي كردند. تا آنكه دين اصلي فراموش شد و بت پرست گرديدند، با اين حال بقايايي از آيين ابراهيم و اسماعيل از قبيل بزرگداشتِ خانة كعبه و طواف آن و حج، عمره و توقف در عرفه و مزدلفه و اهداي قرباني و لبيك بر كشيدن در حج و بلند گفتن نام خدا هنگام ذبح قرباني در آيين جاهليان باقي مانده بود، جاهليان چنين لبيك مي گفتند: «لبيك اللهم لبيك، لبيك لا شريك لك إلا شريكا هو لك تملكه وما ملك» .

اول كسي از عربها كه دين اسماعيل را تغيير داد و به نصب اوثان (= سنگهاي مقدس جاهليت) و تعيين «سائبه و وصيله» پرداخت عمر و بن لحي بن حارثه بود كه پدر قبيلة خزاعه است. مادر عمرو بن لحي زني بوده است به نام فهيره دختر عامر بن حارث، و اين حارث متولي امور كعبه بود عمرو بن لحي چون بالغ گرديد با حارث بر سر ولايت كعبه به كشمكش پرداخت و با قبيله جرهم] از اولاد اسماعيل [جنگيد و غلبه كرد و آنان را از كعبه و نواحي مكه بيرون راند و متولي امر پرده داري كعبه شد.