يتابعه كتتماش بن قماج وغيره، وإبعادهم عن الحضرة الشريفة المستضيئية ونهب دورهم، حتى عزم على الحج في سنة ثلاث وسبعين وخمس مئة وقضى أشغاله بعد إذن الإمام المستضيئ بأمر الله له في ذلك، فلما توجه قتله قومٌ من الباطنية على ما سيأتي شرحه.
قال القاضي عمر القرشي: أول سماع الوزير في ذي الحجة سنة سبع عشرة وخمس مئة من أبي القاسم هبة الله بن محمد بن الحصين، ثم بعده من أبي الحسن عبيد الله بن محمد البيهقي، وأبي منصور محمد بن عبد الملك بن خيرون وغيرهم. وقد سمع أيضًا من أبي القاسم زاهر بن طاهر الشحامي النيسابوري، ومن أبي الحسن محمد بن أحمد بن توبة، وأبي الوقت السجزي، وروى عنهم؛ سمع منه الحافظ أبو بكر محمد بن أبي غالب الباقداري، والقاضي عمر القرشي، وابناه: أبو الفضل عبيد الله وأبو نصر علي ابنا الوزير، وأبو أحمد داود بن علي منهما، وغيرهم.
أخبرنا أبو أحمد بن أبي نصر بن المظفر بقراءتي عليه، قلت له: أخبركم الوزير أبو الفرج محمد بن عبد الله بن هبة الله، بقراءة والدك عليه وأنت تسمع، فأقر به، قال: أخبرنا أبو الحسن محمد بن أحمد بن محمد الأسدي، قراءةً عليه.