أحوالهم ومقاماتهم ودوام تنقلهم لم يكن هناك أمر يقيدهم ويجمع هذه الأحوال وهذه المقامات المتنوعة. ومن هنا كانت نسبتهم إلى ظاهر اللباس الذي اتخذوه مميزًا لهم مشيرًا إلى ما يأخذون به أنفسهم من زهد وتقشف وورع. فكان ذلك أبين في الإشارة إليهم وأدل على حصر وصفهم. إذ أن ليس الصوف كان غالبًا عليهم لتشبههم في ذلك بالأنبياء والمقربين. ومن هنا ترى أن نسبتهم إلى الظاهر أوفق وأقرب إلى الإقناع من نسبتهم إلى الباطن. فلو نسبوا مثلًا إلى حال ما، أو إلى مقام ما، كان ذلك أقل دلالة وأدنى إلى الغموض والإبهام في الإشارة إليهم.
فمما تقدم ترى أن نسبة الصوفية إلى الصوف أبين في تفهم حالهم وأدل على زهدهم وأقرب إلى التواضع منها إلى أي شيء آخر. وقد ذهب بعض أهل العلم إلى أن تسمية الصوفية بهذا الاسم راجعة إلى نسبتهم إلى الصوفة وخلاصة هذا المذهب هي أنه لما كان الصوفية يؤثرون الذبول والخمول والانكسار والتواضع مثلهم في ذلك كمثل الصوفة الملقاة، كانت تسميتهم بهذا الاسم نسبة إلى الصوفة. وهذا الرأي فضلا عن انه ملائم للدلالة على ما انطوت عليه نفوس الصوفية من الإذعان والذلة والخضوع فانه ملائم أيضًا لطبيعة الاشتقاق اللغوي.
وهناك رأي آخر يتلخص في أن الصوفية سموا بهذا الاسم لأنهم في الصف الأول بين يدي الله عز وجل لارتفاع هممهم وإقبال قلوبهم على الله تعالى.
ورأي رابع ذهب فيه أصحابه إلى أن تسمية الصوفية بهذا الاسم راجعة إلى نسبتهم إلى (الصَّفة) التي كانت لفقراء المهاجرين في عهد النبي. على أن هذا الرأي وإن كان صحيحًا من ناحية المعنى إلا إنه لا يستقيم من ناحية الاشتقاق اللغوي. فالصوفية يشبهون (أهل الصفة) من حيث أنهم فقراء مؤتلفون في الله مجتمعون في الله. وأصحاب الصفة هؤلاء كانوا نحوا من أربعين رجلًا لم تكن لهم بالمدينة مساكن ولا عشائر. كانوا يصرفون بياض النهار محتطبين ويقضون سواد الليل متعبدين. آثرهم النبي بحبه لهم وعطفه عليهم وبره بهم حتى انه كان يأكل معهم ويحث الناس على مواساتهم. هم الذين نزلت فيهم الآية الكريمة. (واصبر نفسك مع الذين يدعون ربهم بالغداة والعشي) والذين نزلت في أحدهم وهو ابن أم مكتوم هذه الآية الشريفة: (عبس وتولى أن جاءه الأعمى.) فكان ذلك عتابًا