ولمكانته العلميّة كان أعيان جربة يزورونه في بيته، ويحضرون مجالسه العلميّة ويناظرونه وكان قدم إلى جربة الشيخ المصري أحمد السناري، فناظر علماءها ـ وكان متفوقا في علم المنطق فأفحمهم ـ ولما اجتمع إلى الشيخ سعيد وناظره ـ وجده متبحرا في العلوم، قوي الحجة، واستمر الرجلان في التباحث والمساجلة من صلاة العشاء إلى مطلع الفجر، واعترف الشيخ السناري ـ بعد هذا اللقاء ـ بسعة علم الشيخ سعيد، ولما تحوّل إلى تونس وناقش علماء الزيتونة قال: لم أجد العلم إلا في جربة · وكان الشيخ سعيد قد جلب معه من مصر مجموعة كبيرة من المخطوطات، اشترى بعضها ونسخ البعض الآخر بخطه الجميل، كتبها بوكالة الجاموس بالقاهرة فكانت هذه المجموعة النواة الأولى في تكوين المكتبة البارونية التي ظهرت في أوائل القرن التاسع عشر (1805 م) · ثمّ ضمّ إليها الشيخ كتبه التي جلبها من جبل نفوسه، ونمّاها بعد ذلك بشراء مكتبة قريبه الشيخ موسى بن علي الباروني النفوسي · وقد حافظ على هذه المكتبة أبناؤه من بعده، خاصّة منهم الشيخ علي المولود بالحشان، وواصل الأحفاد رعايتها وإثرائها بالكتب وكان بعضهم شغوفا بالكتب مثل الشيخ يوسف بن علي المدرّس والإمام بجامع حومة السوق، ثم عني من بعده بهذا الرصيد الشيخ أمحمد بن يوسف، ثم ابنه يوسف الذي بنى المقرّ الحالي للمكتبة سنة 1966، وزوّدها بكتب متنوّعة في شتى العلوم ثم تولى فهرستها بداية من سنة 1989 وحتى 20 نوفمبر 1992 م الموافق ل 25 جمادى الأولى 1413 هـ سعيد بن يوسف الباروني بالتعاون مع دار الكتب الوطنية وبيت الحكمة وجمعية صيانة جزيرة جربة.