وعندما سقطت طليطلة، في الأندلس، في أيدي القشتاليين، سنة 478 هـ (1085 م.) يبدو أنه هاجر فريق من علمائها إلى طرابلس، وكان منهم: أحمد بن محمد أبو عبد الله الطليطلي، فاحتضنه بنو عمار وجعلوه متوليا لدار العلم. إذ كانوا يختارون للنظر في أمورها كبار رجال العلم، من أمثال: الحسين بن بشر بن علي بن بشر وأسعد بن أبي روح وغيرهما من أمثالهما.

وكان في المكتبة مئة وثمانون ناسخا عملهم الوحيد نسخ الكتب غير الموجود منها نسخ في المكتبة وإضافتها إلى الكتب الموجودة فيها. ولم يقتصر الأمر على الكتب العربية، بل ضمت المكتبة الكثير من كتب اليونان والرومان والفرس، وبين الكتب العربية عدد كبير منها بخطوط مؤلفيها. ومكتبة كهذه تحتاج إلى الإنفاق الكثير عليها لما تضمه من عاملين فيها ومشرفين عليها ونساخين وخطاطين ومترجمين ومجلدين ووراقين وباعة يحملون إليها نوادر الكتب مهما غلا ثمنها. أما عدد الكتب التي احتوتها مكتبة بني عمار فقد تعددت الأقوال في شأنه: فابن أبي طي يقول: إن العدد كان ثلاثة ملايين كتاب، ويؤيد ذلك ابن الفرات. وعلى هذا القول كثيرون من المؤرخين العرب والمستشرقين منهم: أرنولد وغروهمان وغيبون وشوشتري الذي يقول، في كتابه (مختصر تاريخ الثقافة الإسلامية) : إن مكتبة طرابلس كانت تحتوي أكبر عدد من الكتب عرف أن مكتبة ما حوته حتى ذلك الزمن، ألا وهو ثلاثة ملايين كتاب. والمستشرق الفرنسي كاترمير لم يخالجه شك في تقدير العدد بثلاثة ملايين كتاب.

ويبدو أن المكتبة بدأت، في عهد منشئها الأول، أمين الدولة بمئة ألف كتاب، وأن العدد ارتفع في عهد خليفته جلال الملك إلى المليون، ثم ارتفع في عهد فخر الملك إلى ثلاثة ملايين.

وكان في المكتبة، قاعة خاصة للنساخ والخطاطين مزودة بكل ما يحتاجونه من الأوراق والمحابر والأقلام، كما كان فيها قاعات للمطالعين الذين يفدون إليها.

وهؤلاء الوافدون لم يكونوا من أبناء طرابلس فقط، فقد كان العلماء وطلاب العلم