وقال عبدالوارث بن سعيد: أتتني عُليَة بابنها إسماعيل , فقال: هذا ابني يكون معك , ويأخذ بأخلاقك .. كما في سير أعلام النبلاء (9/115) فكان ابنها إسماعيل بن إبراهيم المعروف بإسماعيل بن عُليَة من كبار أهل العلم بالحديث في زمانه .

وفي حلية الأولياء (8/299) , وفي السير أيضًا (8/445) قال الفضل بن عياض: اللهم إني اجتهدت أن أؤدب عليًا (ابنه) فلم أقدر على تأديبه , فأدبه أنت لي .

فكان ابنه عليًا من العبّاد الزهاد في زمانه رحم الله الجميع .

قال إبراهيم النخعي: « كانوا يضربوننا على الشهادة والعهد ونحن صغار » البخاري (3451) .

قال ابن القيم في تحفة المودود (146) : « ومما يحتاج إليه الطفل غاية الاحتياج الاعتناء بأمر خلقه ، فإنه ينشأ على ما عوده المربي في صغيره: من حرد وغضب ، ولجاج ، وعجلة ، وخفة مع هواه ، وطيش ، وحدة ، وجشع ، فيصعب عليه في كبره تلافي ذلك ، وتصير هذه الأخلاق صفات وهيئات راسخة له ، فلو تحرز منها غاية التحرز ، فضحته ولا بد يومًا ما ، ولهذا تجد أكثر الناس منحرفة أخلاقهم ، وذلك من قبل التربية التي نشأ عليها ، وكذلك يجب أن يجتنب الصبي إذا عقل: مجالس اللهو ، والباطل ، والغناء ، وسماع الفحش ، والبدع ، ومنطق السوء ، فإنه إذا علق بسمعه ، عسر عليه مفارقته في الكبر ، وعز على وليه استنقاذه منه ، فتغيير العوائد من أصعب الأمور ، يحتاج صاحبه إلى استجداد طبيعة ثانية ، والخروج عن حكم الطبيعة عسر جدًا » .