وحسن تدبيرٍ وسماحةٍ وملاحظةٍ لأهل الخير والصلاح حتى سمعت أبا العلاء محمد بن علي الصوفي، وكان يحضر عند هذا الوزير قبل ولايته وبعدها مع أبي بكر أحمد ابن عبد الرحمن الفارسي شيخ رباط الزوزني، وكان قريبًا من الوزير ومخالطًا له، يحكي أن الوزير أبا الفرج لما خلع عليه خلع الوزارة وجلس بالديوان العزيز -مجده الله- أول توقيع علم فيه وكتب بأمره توقيعٌ بصلةٍ تضمن إطلاق أكرارٍ من الغلة تحمل إلى قومٍ من الفقراء: إما برباط الزوزني أو غيره، الشك مني، وقال الوزير: إني نذرت إن صرت إلى هذا المنصب: أن أول توقيع أوقع به يكون بصدقةٍ وبرٍ.
فلم يزل على أمره، وله أعداءٌ يسعون في فساد حاله والإمام المستضيئ بأمر الله -رضي الله عنه- يدفع عنه حتى تم لهم ما راموه فعزل في اليوم العاشر من شوال سنة سبع وستين وخمس مئة ولزم بيته. ثم لم يزالوا متتبعين له عاملين في أذاه حتى أدت الحال إلى خروجه من داره ومنزله بأهله إلى الحريم الطاهري بالجانب الغربي، فخرج من دار الخلافة المعظمة في ليلة الاثنين ثاني عشر جمادى الأولى سنة سبعين وخمس مئة، وأقام برباط شيخ الشيوخ أبي