ففي حياة بيت بني خلدون هجرتان: واحدة من اليمن إلى الأندلس أي من المشرق إلى المغرب، والثانية من الأندلس إلى أفريقية وهي رحلة شبه داخلية بين العدوتين.

ولا يوافينا السارد في النص بالمعطيات الكافية عن الهجرة الأولى اللهم إشارته الظنية إلى احتمال دخول جده خلدون أول الفتح ، والتحديد الحدثي للهجرة الثانية التي كان سببها"غلب ملك الجلالقة ابن أدفونش"على إشبيلية.

وشرعية بيت مؤلفنا بني خلدون يستمدها من جذره الأصلي المنوه به أعلاه: فقد روي عن النبي (ص) أنه كتب لوائل بن حجر ولقومه: من محمد رسول الله إلى الأقوال العباهلة وفي رواية إلى الأقيال العباهلة . فكان لهذا البيت مشاركة تراوحت بين الرياسة السلطانية والرياسة العلمية على حد تعبير ابن حيان لأنه لا يعدم ملك العصبية (أو الشوكة) التي تجري بها هذه الرياسة مادام:

"تفاوت البيوت في أهل الشرف بتفاوت العصبية، لأنه سرها"

فهذه المتواليات وما يشبهها في النص تثبت عدة أشكال للنسب:

النسب القبيلي: انتساب بيت بني خلدون إلى رجل واحد: وائل بن حجر، ومن هذا النسب نشتق نسبة الجماعة إلى مبدئها الأول كالنسبة الحاصلة