وضعفاء الطلبة وتفنن في إبداء آرائه الشاذة باختراع أسئلة رفعت إليه من النواحي والبلاد النائية ليكتب ما شاء من الأجوبة الطويلة المتشعبة المملوءة بالتلبيسات. حتى إذا روجع في شيء منها قال. لم أرد هذا وإنما أردت كذا مما عليه جمهور العلماء. ولقد تعصب له بعض الحنابلة أولا حتى إذ استطار في الناس ضرره وضرر شيعته جعلوا بوجهون إليه النصائح بالمشافهة والمكاتبة ورجع كثير من أهل العلم عن رأيهم الأول فيه.

ودونك نصيحة لهذا الرجل بعث بها إليه شيخ الحنابلة وشيخ الحديث في ذلك الوقت الحافظ الذهبي وقد كان يكثر الثناء عليه قبل ذلك بل يطريه، وقد حقق العلامة الكوثري ثبوتها عن الذهبي بما لا يدع مجالا للشك في ثبوتها عنه في آخر تكملته للسيف الصقيل وهو مطبوع مع هذه التكملة. قال الذهبي له فيها:

(كان سيف الحجاج ولسان ابن حزم شقيقين فواخيتهما) ثم قال فيها يخاطبه (إن سلم لك إيمانك بالشهادتين فأنت سعيد. يا خيبة من اتبعك فإنه معرض للزندقة، والانحلال لا سيما إذا كان قليل العلم والدين باطوليا شهوانيا، لكنه ينفعك ويجاهد عندك بيده ولسانه وفي الباطن عدو لك بحاله وقلبه فهل معظم أتباعك إلا مقيد مربوط خفيف العقل، أو عامي كذاب بليد الذهن، أو غريب واجم قوى المكر أو ناشف صالح عديم الفهم، فان لم تصدقني ففتشهم وزنهم بالعدل. يا مسلم أتقدم حمار شهوتك لمدح نفسك. إلى كم تصادقها وتعادي الأخيار. إلى كم تصادقها وتزدري الأبرار. إلى كم تعظمها وتصغر العباد. إلى متى تخاللها وتمقت الزهاد. إلى متى تمدح كلامك بكيفية لا تمدح ــ والله ــ بها أحاديث الصحيحين، يا ليت