قال المؤرخ يحيى بن الحسين بن القاسم:(وكان أهل هذا البيت ممن جمع بين العلم والعمل، وما زال العلم فيهم في الأغلب من مدة جدهم المفضل بن محمد العفيف، ولهم خزانة كتب جمعوها ما زال اللاحق يدفع إلى ما جمعه الأول حتى اجتمعت كتب كثيرة، ما زالت هنالك زماننا هذا، وذكر لي بعض أولادهم: أن الباقي منها الآن أربعمائة مجلد، ومضى بعض نفائس مخطوطاتها.

إلى أن يقول: وفي هذا الوقت طلب آل الوزير قسمتها بينهم، وتصرفوا فيها، وتفرقت بعد أن كانت مجتمعة، وذكر لي بعض أولادهم: إنها كانت في بيان بخط بعض آبائهم قدر تسعمائة كتاب، ورأيت البيان كذلك فلم يبقَ منها إلا القدر المذكور.

وبعد قسمتها وتفرقها كما ذكر أمر الإمام المتوكل على الله إسماعيل بجمعها، كما كانت مجموعة فجمع منها بعضها مما أمكن في غربي مؤخر جامع صنعاء وهي فيه الآن، ولم يبق للسادة فيها تصرف)، الأكوع (هجر العلم) هذا في عصر المؤرخ يحيى بن الحسين بن القاسم المتوفى سنة 1100هـ.

ومرت أسرة آل الوزير وآل مفضل وعثمان بأحداث وظروف كثيرة كان لها أثر على تشتت مكتباتهم، آخرها أحداث 1948م، وهذه المكتبة هي ما تبقى.