اختلف المتصوفة في تعريف التصوف وساروا في اتجاهات ثلاثة، فمنهم من علقه بلباس الصوف باعتباره الزي المتعارف عندهم، كما تشير الأخبار عن سيرهم الذاتية، حيث اعتبروا لبس الصوف من الزهد. فقد ذكر أبو عبد الرحمن السلمي:"سمعت أبا العباس محمد بن الحسن الخشاب قال: حدثنا أبو الحسن علي بن محمد بن أحمد المصري، قال: حدثني أبو سعيد أحمد بن عيسى الخراز قال: حدثنا إبراهيم بن بشار قال: صحبت إبراهيم بن أدهم بالشام، أنا وأبو يوسف الغسولي، وأبو عبد الله السنجاري، فقلت: يا أبا إسحاق! خبرني عن بدء أمرك كيف كان؟ قال: كان أبي من ملوك خراسان، وكنت شابًا فركبت إلى الصيد، فخرجت يومًا على دابة لي، ومعي كلب، فأثرت أرنبًا أو ثعلبًا، فبينما أنا أطلبه، إذ هتف بي هاتف لا أراه، فقال: يا إبراهيم: ألهذا خلقت؟ أم بهذا أمرت؟ ففزعت، ووقفت، ثم عدت فركضت الثانية، ففعل بي مثل ذلك ثلاث مرات، ثم هتف بي هاتف من قربوس السرج: والله ما لهذا خلقت، ولا بهذا أمرت. قال: فنزلت فصادفت راعيًا لأبي يرعى الغنم، فأخذت جبته الصوف، فلبستها ودفعت إليه الفرس، وما كان معي، وتوجهت إلى مكة فبينما أنا في البادية، إذ أنا برجل يسير ليس معه إناء ولا زاد، فلما أمسى وصلى المغرب، حرك شفتيه بكلام لم أفهمه، فإذا أنا بإناء فيه طعام، وإناء فيه شراب، فأكلت وشرب، وكنت معه على هذا أيامًا، وعلمني (اسم الله الأعظم) " [طبقات السلمي/29] .

وينقل الشعراني عن أبو يحيى مالك بن دينار:"سئل رضي الله عنه عن لبس الصوف فقال رضي الله عنه: أما أنا فلا أصلح له لأنه يطلب صفاء" [الطبقات الكبرى1/34] .

يقول أبو صالح سيدي عبد القادر الجيلي:"قاسيت الأهوال في بدايتي، فما تركت هولًا إلا ركبته، وكان لباسي جبة صوف، وعلى رأسي خريقة، وكنت أمشي حافيًا في الشوك وغيره، وكنت أقتات بخرنوب الشوك، وقمامة البقل، وورق الخس من شاطئ النهر" [الطبقات الكبرى1/126] .