وقد كان بداية خروجهم في البصرة, وقد ذمهم طائفة من العلماء, وغلا في ذمهم بعض المتأخرين, ونسبهم جميعًا إلى الضلال والانحراف, والاتحاد والحلول, وهذا من الجور والظلم, أو الجهل بحقيقة أحوالهم, وتباين فرقهم.
والصوفية مراتب: منهم الذين لم ينقل عنهم أكثر من تفضيل لبس الصوف, وأنهم متشبهون بالمسيح, ويحكى عنهم حكايات كثيرة في الزهد والعبادة والغشي عند سماع القرآن, ونحو هذا من الأمور غير المعروفة عن الصحابة رضي الله عنهم. وقد قال شيخ الإسلام ابن تيمية رحمه الله تعالى: والذي عليه جمهور العلماء أن الواحد من هؤلاء إذا كان مغلوبًا عليه, لم ينكر عليه, وإن كان حال الثابت أكمل منه. انتهى كلامه.
وقد انتسب إلى هؤلاء طوائف من أهل البدع والاعوجاج, وآخرون من أهل الزندقة كالحلاَّج ونحوه, ولم يزل مذهبهم يمر بكثير من المراحل. ويكثر فيهم الجهل, فكانوا يعتمدون على الأحاديث الضعيفة والموضوعة, وعلى تفسير القرآن بآرائهم, ودعوى أن القرآن له ظاهر وباطن, وأنهم يعلمون من علم الباطن ما لا يعلمه غيرهم, وقد آل الأمر ببعضهم إلى الكذب, وسماع الأغاني, والتوسع في دعوى الكرامات, ووصل الحال بجماعة منهم إلى أن الولي أفضل من النبي.
وفي العصور المتأخرة سرت فيهم الوثنية, والغلو في مشايخهم إلى حد الكفر. ولذلك لا يصح الحكم على جميعهم بحكم كلي, ففيهم المقصِّر, وفيهم العابد الجاهل, وفيهم المبتدع, وفيهم الوثني, وفيهم الزنديق. والتفصيل هو المطلوب, تجنبًا للظلم لهم ولغيرهم.
وقول المؤلف رحمه الله تعالى"إذ القادح في مُحِقِّ الصوفية داخل في حديث (من عادى لي وليًا) ": هذا الحديث رواه الإمام البخاري رحمه الله تعالى في صحيحه من طريق خالد بن مخلد القطواني قال: حدثنا سليمان بن بلال عن شريك بن عبد الله بن أبي نمر عن عطاء بن يسار عن أبي هريرة رضي الله عنه عن النبي صلى الله عليه وسلم قال: (قال الله تعالى: من عادى لي وليًا .. الحديث) .