لم يعرف الإسلام اسم الصوفية في زمن الرسول وصحابته والتابعين حتى جاء جماعة من الزهاد لبسوا الصوف فأطلقوا هذا الاسم عليهم ، وقيل مأخوذ من كلمة صوفيا ومعناها الحكمة باليونانية وليست مأخوذة من الصفاء كما يدعي بعضهم لأن النسبة إلى الصفاء صفائي وليست صوفي .
وظهور هذا الاسم الجديد والطائفة التي تحمله زاد الفرقة في المسلمين ، وقد اختلف الصوفية الأوائل عن الصوفية المتأخرة التي انتشرت فيها البدع بشكل أكبر وعمّ فيهم الشرك الأصغر والأكبر وبدعهم مما حذرنا منه الرسول صلى الله عليه وسلم بقوله:"إياكم ومحدثات الأمور فإن كل محدثة بدعة وكل بدعة ضلالة. رواه الترمذي وقال حسن صحيح"
وفيما يلي مقارنة بين معتقدات الصوفية وطقوسها وبين الإسلام المبني على القرآن والسنّة:
الصوفية: لها طرق متعددة كالتيجانية والقادرية والنقشبندية والشاذلية والرفاعية وغيرها من الطرق التي يدعي أصحابه أنهم على الحق وغيرهم على الباطل والإسلام ينهى عن التفرق ويقول الله تعالى { ...ولا تكونوا من المشركين (31) من الذين فرّقوا دينهم وكانوا شيعًا كل حزب بما لديهم فرحون } ( سورة الروم الآيات 31-32) .
الصوفية: عبدوا غير الله من الأنبياء والأولياء الأحياء والأموات فهم يقولون ( يا جيلاني ويا رفاعي ويا رسول الله غوثًا ومدد ، ويا رسول الله عليك المعتمد ) .
والله ينهى عن دعاء غيره فيما لا يقدر عليه إلا هو ويعدّه شركًا إذ يقول { ولا تدع من دون الله ما لا ينفعك ولا يضرك فإن فعلت فإنك من الظالمين } سورة يونس ،آية 106 .
الصوفية: تعتقد أن هناك أبدالًا وأقطابًا وأولياء سلّم الله لهم تصريف الأمور وتدبيرها والله يحكي جواب المشركين حين يسألهم: { ومن يدبر الأمر فسيقولون الله } سورة يونس: 31 . فمشركو العرب أعرف بالله من هؤلاء الصوفية .