ولم يلتذ بالخلافة ولا رأى فيها خيرًا؛ فإن أباه لما قتل وبكر عباس إلى القصر وفحص عن الخليفة الظافر وقتل أخويه وابن عمه لينفي عن نفسه وابنه التهمة، دعي إلى القصر واستدعى ابن الظافر هذا وحمله على كتفه وله من العمر نحو الخمس سنين، ووقف به في صحن القاعة وأمر الأمراء فدخلوا عليه. فلما مثلوا بالقاعة قال لهم: هذا ولد مولاكم وقد قتل أبوه وعماه، والواجب إخلاص الطاعة لهذا الطفل. فقالوا بأجمعهم: سمعنا وأطعنا، وصاحوا صيحة اضطرب منها الطفل وداخله من تلك الصيحة، مع ما شاهده من رؤية عمه والخدام وهم في دمائهم، ما خبل عقله، وبال على كتف عباس، فسيروه إلى أمه؛ وأقام مختلًا يصرع وجدته تكفله.

وركب في الأعياد مغررًا به؛ وخطب عنه قاضي القضاة وهو معه على المنبر. وقطع الخليج في أيامه في الليل واعتذر عن ذلك بأن النيل عدا وقطع الجسر، إلى غير ذلك من التحويزات.

ثم وزر الصالح بعد عباس واستبد بجميع الأمور وليس له معه أمر ولا نهي، ولا تعود كلمة. فدبرت عمة الفائز في قتل الصالح، وفرقت في ذلك نحو خمسين ألف دينار. فبلغ ذلك الصالح، فأمسكها وقتلها بالأستاذين والصقالبة سرًا، والفائز في واد آخر من الاضطراب والاختلال. ونقل كفالته إلى عمته الصغرى، وطيب قلبها، وراسلها.