وله شأن معروف مع مولانا الخليفة أبي عنان رضوان الله عليه وحكاية مشهورة إذ كان يعظمه ويؤثره ويعينه على الأخذ على أيدي المعتدين المرتكبين ما نهي عنه الدين، والإيثار على الضعفاء والمساكين، وربما تكفلت صدقته بجميع مؤن المحتاج من قوت ومن لباس مستوفي الجزئيات في الدفعة الواحدة، فيكفيه السؤال طويل مدة، ليمتعه بالانتفاع بنفسه من توجه لعبادة أو استنهاض لكسب، ويصل تحنث عبادته بالطواف على الفقراء والمحتاجين في الحضرة، ويتفقد بالفواكه الرطبة واليابسة في أوانها من تميل إليها نفسه فلا توصله المتربة إليها، يبتاع منها الكثير متى أظل زمانها وتمكن إبانها، ويضعها في حانوته بالحلفاويين من فاس، ويحتمل نهاية ما يقدر على رفعه على رأسه، فيقصد به المظان إلى أن يفرغ الوعاء، فيعيد امتلاء فيلحق تلطفه الضعفاء بالأغنياء، في استطعام شهوات ما أنعم الله به على خلقه ورزقهم من طيباتها، ويبعث العيون للبوادي فيعاني بها المرضى، ويلين لهم خشن العيش، ويرفق بالمتخذ من الحيوان والمألوف، وأعد لذلك دارًا يجمعهم فيها ويناولهم بيده، وكان لا تبصر له بطانة، ولا تعرف له عن اجتهاده مهلة، دائم الاشتغال، متوالي العمل مكبًا على ما أمله من مقاصده جلدًا على ملتزماته، قاطعًا علائق ما يدخل عليه شائبة أو يصرف باله إلى ما لا يعني به. ومن ذلك ما اشتهر من حديثه فعلمه الكثير، أن ملاصق داره من جيرانه كانت له زوجة جهيرة الصوت عالية الكلام، فكان متى استقر بداره حشا أذنيه قطنًا تحفظًا من سماعها، فلا يزال طول مكثه بداره على تلك الحالة، إلى أن يفارق داره فيزيل عن أذنيه، ديدنًا لا يفارقه ولا يغفل عنه، واتصل مجاورتهم نحو عشرة أعوام.

أخذ طريق التصوف عن الشيخ يعقوب الزيات من أهل فاس، وكان ممن له قدم في الطريقة ولسان صدق، وكان والد سيدي أبي عبد الله أيضًا له حظ وافر من الخير وصحبة مع الفضلاء، واتصال الألفة بهم والاطلاع على خصائصهم، فكان له صاحب منقطع للعبادة بجامع الزيتونة من داخل باب الفتوح، مواصل الصوم والصلاة والذكر والخيرات، واصل مرة ثلاثين يومًا، فلما انتهى العدد الذي كان في نفسه، اشتهت عليه نفسه أن يفطر في تلك الليلة حساء حمص بسمن وبصل وسمن غنمي، قال: فلما كان العشا جاءني سيدي أبو عمران موسى وسيدي أبو عبد الله الحلفاوي بما اشتهيت من غير وعد ولا طلبة مني. ولم