ولقد بقي في تلك الحال يومين. يطعم ولم يجد من يستأجره. فإذا برجل يقول: من يحمل هذا المجذوم الى موضع كذا، بثمن درهم. فحمله وأخذ الثمن فاقتات به. ووفق مع زهده الى طلب العلم. فكان لا يسمع في تصرفاته وسياحته، بعالم، إلا أتاه وسمع منه وكتب عنه. ولا برجل صالح، إلا قصده وانتفع به. وأبوه في هذا كله، بعد مع بني الأغلب في حاله. فلقد ذكر أن أبا إسحاق رحمه الله، وجد يعجن طينًا بمدينة سوسة، بأجرة. فقيل له: إن أباك كثير الاجتهاد في طلبك. فقال: قولوا له. أكنت تظن أنه يخرج من ظهرك، من يطلب الحلال؟ وحجّ سنة أربع عشرة وثلاثماية.
وكان أبو إسحاق قد سمع من العلماء. وله من عيسى بن مسكين إجازة. وكتب عن أبي بكر ابن اللباد. قال اللبيدي: وكان ابن اللباد به متعجبًا. وكان أكثر دراسته بالساحل، على أبي علي حمود بن سهلون. صاحب ابن عبدوس، وأخذ أيضًا عن محمد بن علي، بن عبد الرحيم بن علي ابن عبد ربه. وأبي يوسف ابن مسلم، وجماعة سواهم. وكان يقول: لقد رأيت هذا الساحل، وما منه قرية إلا بها رجل من أهل العلم والقرآن. أو رجل صالح يزار.