وقد ذكر الخروبي انه كان ذات يوم صحبة أستاذه الحاج قاسم بن قلاع فوقعت له معه واقعة كانت بداية الخير قال: أنا كنا جميعا عشية يوم من الأيام فتذاكرنا حالة سيدنا عمر بن الخطاب t وزهده وقرانا شيئا من رسالة سيدي يوسف العجمي . وأنشدنا من لامية عمر بن الفارض قوله:
هو الحب قاس بالحشا ما الهوى سهل ** فما اختاره مضي به وله عقا
فطاب الوقت وصفا وحن الروح إلى أحوال أهل الوفاء وفتح الباب وزال الحجاب ونادى منادى الوصال هلم وتعال . فنزعت ثيابي وأجبته بلبيك ها أنا منك واليك . وأخذت ثياب سيدي الحاج قاسم ولبستها ولبس ثيابي وعمدت إلى دارنا فكان لي فيها بعض طعام فأخرجته وفرقته على من احتاجه وبعث ثيابي من غير أن تعلم الوالدة رحمها الله تعالى فكانت قيمتها اثنين وعشرين ذهبا طرابلسية تزيد قليلا أو تنقص عن ذلك وكتبت في زمام كل من كانت له عندي تباعة وفرقتها كلها , فمن الأخذ ومن التارك المسامح إلى أن نفدت الدراهم .
فعلمت بذلك الوالدة وسرت بما صنعت . وهذا كله من فضل الله ومنه ومعرفة الصالحين وذكر أحوالهم والنظر في كتبهم ....)
كما ذكر أن الحاج قاسم المذكور كان يأتيه وهو صغير فيأخذه معه إلى روضة سيدي عبدالله الشعاب الموجودة حاليا على الشاطئ البحر بمدينة طرابلس وأحيانا يأخذه إلى المسجد الأعظم فيتذاكران حكايات الصالحين ويعبدان الله بالصلاة والقراءة والذكر والمدارسة في مختلف العلوم , وخاصة ما يتعلق بجلاء القلوب وصفائها إلى أن يملأ النعاس عيونهما فينامان حيث كانا بعد أن يفرش الشيخ جبنه التي كان محافظا على لباسها لتلميذه ومريده لئلا يصيبه البرد .
ولاشك أن هذه القصة التي ذكرها الخروبي عن نفسه تصور لنا بداية تعلقه بالتصوف وارتباطه بأهل الآخرة وتجرده عن الدنيا ومادتيها . وترسم لنا الطريق الذي لنفسه منذ صغره إلى أن لقي ربه . فكان به قويا لا يخشى ألا الله , وكان به لا يجمع الدنيا خوفا من الفقر , وكان به طاهر القلب لا يضمر لأحد وهذه هي سمات المؤمنين الصادقين الذين عناهم الباري بقوله: ( ألا إن أولياء الله لا خوف عليهم ولاهم يحزنون الذين آمنوا وكانوا يتقون لهم البشرى في الحياة الدنيا وقي الآخرة ) .
رحلته إلى الجزائر:
لم ينص المؤرخون في ترجمتهم للخروبي على السنة التي ارتحل فيها إلى الجزائر ولعلها كانت سنة 916 هجري الموافقة 1510 م .وهي السنة التي احتل الأسبان فيها مدينة طرابلس وعاثوا فيها فسادا وتسلطوا على العباد فهاجر الخروبي كغيره ممن لم يرضهم العيش فيها مع الغزاة الغاصبين وخاصة العلماء والأعيان ووجهاء البلاد وقد توجه إلى الجزائر حيث تولى التدريس والخطابة في الجامع الأعظم الذي كان ولازال يسمى (( مسجد المالكية ) )وقد زرته مستفسرا عن آثاره العلمية فيه فوجدته مسجدا عظيما ومتسعا يؤمه كثير من المصلين وقارئو القرآن وسنذكر نتيجة عن آثاره عند تعرضي لذكر الآثار العلمية له .
ورغم ما كان عليه الخروبي من غزارة العلم وقوة الإطلاع فقد رأى أن يأخذ عن علماء الجزائر وان يتتلمذ لهم . لذا قصد قلعة بني راشد التي كانت وقتها زاخرة بالعلماء الأفذاذ أمثال أحمد بن يوسف الراشدي وأمثال الشيخين المحدثين عمر العطوي الراشدي وعمر بن زيان المديوني وغيرهم . وقد قام بواجبه العلمي تعلما وتعليما في عاصمة الجزائر وضواحيها ومختلف مدنها خير قيام . كما أسس فيها مدرسته الصوفية التي كان فيها متأثرا بوالده أكثر من تأثره بأستاذه أحمد زروق حيث كان يرى التشدد في الإنكار على تلقين الأوراد للعوام زيادة على ما اتفق فيه أستاذه المذكور مثل استنكارهما للبدع وأهلها . وكان شديد التحامل على مشائخ الطرق في زمانه سواء في الجزائر أم غيرها وكان يقول في معرض حديثه عنهم: (( ظهر في زماننا هذا دجالون ... لم يبنوا أمرهم على سبيل سنة الرسول r وادعوا المراتب العالية والمقامات الإحسانية ... قاتلهم الله يحسبون أنهم على شئ ألا إنهم هم الكاذبون ) )وكلامه هذا موجه إلى المتواكلين الذين اتخذوا الدروشة طابعا لهم عما سواهم واخلدوا إلى الراحة وكأنهم حسبوا أن السماء تمطر ذهبا وفضة دون أن يدكوا ما يرمى إليه الإسلام من دعوته إلى العمل والمثابرة إدراكا حقيقا .
وفادته إلى المغرب: