قال فضيلة الشيخ"عبد الرحمن الدمشقية":"ولعل جعفر هذا مبتلى بما هوشر من الجرب وهوالتصوف الذي كان رأسا فيه. وكان قد طلب الحديث ثم نهاه الصوفية عن الاشتغال بطلب الحديث فطاوعهم وتركه."

يقول الشافعي: «لوأن رجلًا تصوف أول النهار، لا يأتي الظهر حتى يصير أحمق، وما لزم أحد الصوفية أربعين يومًا فعاد إليه عقله أبدًا» ويقول: «أُسِّسَ التصوف على الكسل» [تلبيس إبليس لابن الجوزي 32 و371] .

جاء في الوافي بالوفيات «وكان المرجع إليه في علم القوم وتصانيفهم وحكاياتهم وثقه الخطيب قال إبراهيم بن أحمد الطبري سمعت الخلدي يقول مضيت إلى عباس الدوري وأنا حدث فكتبت عنه مجلسا وخرجت فلقيني بعض الصوفية فقال إيش هذا فأريته فقال ويحك تدع علم الحرق وتأخذ علم الورق ثم خرق الأوراق فدخل كلامه في قلبي فلم أعد إلى عباس توفي في شهر رمضان سنة ثمان وأربعين» (الوافي بالوفيات11/ 19) "."

ولأبن الجوزي رحمهُ الله تعالى غرائب في الحكايات , ولا شك في أن هذا الخبر منها من طريق الخلدي , فلا يصحُ القول وإن كان رأسًا في الصوفية فإن البلاء الذي هوفيهِ أكبرُ من بلاء الجرب , فقد وقع في التصوف وهذهِ"بدعة"لأن التصوف ليس فيهم أحدٌ من أهل السنة , بل الصوفية لا ينسبون لأهل السنة والجماعة وهذا ما عليه السلف الأوائل , والمتقدمين رحم الله من مات منهم , وأطال الله عمر الباقين ثم إن كان ذلك فلماذا لا نرى منكم من يأكل من تربة الحسين , ليشفى من مرضهِ , كم سمعتُ من الأخبار تناولها الإخوان ومن الرافضة ذهابهم للمشافي للعلاج .. !!