موطنه الأصلي بإشبيلية، حيث أشار إلى ذلك الحافظ ابن حجر فقال في ترجمة المؤلف: وكان ابن عمه خَيِّرًا، قائدًا، حاجبًا بإشبيلية (١) ، وقد كان المؤلف على صلة بباقي أسرته هناك، رغم استقراره بمصر، فقد كتب قصيدة طويلة في مدح ابن عمه المذكور، وأرسلها إليه (٢) .
وأما العِلْم، فقد اشتهر من أسرته جماعة من العلماء بالأندلس ومصر وإفريقيا (٣) ، وخير دليل على ذلك سياق نسب المؤلف في تراجمه، إذ يقول التاج ابن السبكي عنه: الحافظ الأديب ... بن الفقيه أبي عمرو بن الحافظ أبي بكر (٤) .
وقد كان لهذه البيئة العلمية أثرها في نشاة المؤلف نشأة علمية حديثية مبكرة، وكان والده أحد شيوخه في علم الحديث (٥) وروى عنه عدة كتب بسنده عن شيوخه (٦) .
كما ذكرت مصادر ترجمته أنه كان له، أو لوالده مكتبة تحوي أمهات كتب السنة (٧) . وتسلسلت بعض رواياته عن أبيه عن جده (٨) ونقل في كتابه عيون الأثر عن بعض تعاليق جده عن شيوخه (٩) .
ولم تقتصر عناية والده به على جهده هو، بل إنه أحضره في سنة مولده