ولم يقبل شيخه ذلك حتى مضى إلى نسخة عراقية للديوان فوجده كما قال أبوالعلاء. تلقى أبوالعلاء دروسًا في السنة عن يحيى بن مسعر. ومن حلب توجه إلى أنطاكية، وكانت بها مكتبة عامرة تشتمل على نفائس من الكتب فحفظ منها ما شاء الله أن يحفظ، ثم سافر إلى طرابلس الشام ومر في طريقه باللاذقية، ويقال إنه درس النصرانية واليهودية جميعًا.
ولما وصل أبو العلاء إلى طرابلس وجد بها مكتبة كبيرة ـ وقفها أهل اليسار ـ درس منها ثم عاد إلى المعرة. تردد في طور لاحق في مكتبات بغداد ودور العلم بها. كان استعداده للعلم عظيمًا وذكاؤه ملتهبًا. روى الثعالبي عن أبي الحسن المصيصي الشاعر قوله:"لقيت بمعرة النعمان عجبًا من العجب، رأيت أعمى شاعرًا ظريفًا يلعب بالشطرنج والنرد ويدخل في كل فن من الجد والهزل يكنى أبا العلاء، وسمعته يقول:"أنا أحمد الله على العمى، كما يحمده غيري على البصر، فقد صنع لي وأحسن بي إذ كفاني رؤية الثقلاء البغضاء"."
أشار ابن العديم إلى قوة حفظ أبي العلاء برواية حكاية عن ابن منقذ ذكر فيها أنه يقرأ عليه الكراسة والكراستين مرة واحدة فيحفظهما، ولم يعلم له من شيوخ بعد سن العشرين، وذكر هو نفسه أنه لم يحتج إليهم بعدها.