واقتدى بخلفاء بني العباس في بغداد وبني أمية في الأندلس الخلفاء الفاطميون في مصر فحينما تولى الخلافة العزيز بالله سنة 365هـ استوزر يعقوب بن كلس [10] وكان الخليفة محبًا للكتب فكلفه بترتيب الدواوين وتقريب العلماء. ولقد جمع من الكتب جانب كبير في قصر الخليفة في قاعات سميت (خزانة الكتب) وقد بذلت أموال طائلة في الحصول على المؤلفات المهمة في التاريخ والأدب والفقه وغير ذلك وذكر أنه كان بهذه المكتبة أكثر من ثلاثين نسخة من كتاب العين للخليل بن أحمد بخط يده وعشرون نسخة من كتاب الطبري ومائة نسخة من كتاب الجمهرة لابن دريد وكان عدد النسخ يزداد بمرور الأعوام حتى بلغ عدد النسخ من كتاب تاريخ الطبري عند استيلاء صلاح الدين الأيوبي على مصر 1200 نسخة وكان فيها 3400 ختمة قرآن بخطوط منسوبة محلاة بالذهب فلا عجب أن يقول المقريزي أنها كانت تحتوي على مليون ألف 000ر006ر1 مجلد [11] في الفقه والنحو واللغة والحديث والتاريخ والنجامة والروحانيات والكيمياء ومنها 000ر18 كتاب في العلوم القديمة فيها 6500 جزء من كتب النجوم والهندسة والفلسفة والفلك على أنه مهما كان من مبالغة في عدد هذه الكتب إلا أنها تدل دلالة واضحة على اهتمام بالغ بشأن الكتب والمكتبات.
وكان للعزيز عناية كبيرة بخزانة يتعهدها بنفسه حينًا بعد حين وقد رتب لها قيمًا يتولى شؤونها ويجالسه ويقرأ له الكتب وينادمه وممن تولى ذلك أبو الحسن الشابشتي [12] .