عن يحيى بن معاذ يقول اجتنب صحبة ثلاثة أصناف من الناس العلماء الغافلين والفقراء المداهنين والمتصوفة الجاهلين
وقد ذكرنا في أول ردنا على الصوفية من هذا الكتاب ان الفقهاء بمصر أنركوا على ذي النون ما كان يتكلم به وببسطام عن أبي يزيد وأخرجوه وأخرجوا أبا سليمان الداراني وهرب من أيديهم احمد بن أبي الحواري وسهل التستري وذلك لأن السلف كانوا ينفرون من أدنى بدعة ويهجرون عليها تمسكا بالسنة
ولقد حدثني أبو الفتح بن السامري قال جلس الفقهاء في بعض الأربطة للعزاء بفقيه مات فأقبل الشيخ أبو الخطاب الكلوذاني الفقيه متوكئا على يدي حتى وقف بباب الرباط وقال يعز علي لو رآني بعض أصحابنا ومشايخنا القدماء وأنا أدخل هذا الرباط قلت على هذا كان أشياخنا فأما في زماننا هذا فقد أصطلح الذئب والغنم
قال ابن عقيل نقلته من خطه وأنا أذم الصوفية لوجوه يوجب الشرع ذم فعلها منها:
أنهم اتخذوا مناخ البطالة وهي الأربطة فانقطعوا إليها عن الجماعات في المساجد فلا هي مساجد ولا بيوت ولا خانات وصمدوا فيها للبطالة عن أعمال المعاش وبدنوا أنفسهم بدن البهائم للأكل والشرب والرقص والغناء وعولوا على الترقيع المعتمد به التحسين تلميعا والمشاوذ بألوان مخصوصة أوقع في نفوس العوام والنسوة من تلميع السقلاطون بألوان الحرير