إلى متاعب الوزارة وفضل الاعتزال على السفر والمال وحسنت لديه حياة الزاهدين بقدر ما قبحت في عينه حياة الوزراء والسلاطين، فلما ألح السلطان في طلبه أجابه الوزير: اعلم يا مولاي أنني تركتُ وراء ظهري حدائق وأعنابا وكواعب أترابا، وخيلًا مسومة، وقناطير مقنطرة، وعدةً وعديدًا، ومواكب وعبيدا، وخرجت خروج الحية من جحرها، وبرزت بروز الطائر من وكره، مؤثرًا ديني على دنياي، جامعًا يمناي في يسراي؛ لأنني أثرت الفقر مع الحرية، على الغنى مع المذلة، ومن كان مثلي فقد اعتق رقبته، واستل من قلبه سخائم الضغن والحقد، وأخرج سموم الغيظ والحسد، ودان بدين التساهل والتسامح وبذا نجوت من لوم اللائمين وقطعت ألسنة القادحين.
فأجابه الملك: لا ريب أن الدولة محتاجة إلى حكيم مثلك، طاهر النفس قويم الخلق، حسن السلوك؛ ليدبر شؤونها، ويصلح ما فسد من أمورها، فقال الوزير: إنه من الحكمة التي تصفني بها أن ابتعد بطهري وعفتي عن شؤون الملك، لئلا يعتريها الرجس ويشويها الكدر.
(ذكر ابن أبي الدنيا، قال: حدثنا محمد بن الحسين، حدثنا عوف بن عمارة البصري قال: قال أبو محرز الطغاوي: شكوت إلى جارة لنا ضيق المكسب علي وأنا شاب، فقالت لي: (يا بني: استغن بغنى القناعة