وقد التزم بقرار عزلته فلم يخرج من داره تسعًا وأربعين سنة إلا مرة واحدة مكرهًا بعد ما ألح عليه أهل بلدته طالبين شفاعته لدى الأمير أسد الدولة صالح بن مرداس، وذلك أن امرأة دخلت جامع المعرة صارخة تستعدي المصلين على أصحاب ماخور قصدوها بسوء، فنفر إليها الناس وهدموا الماخور ونهبوا ما فيه. وكان أسد الدولة في نواحي صيدا فأسرع إلى هناك وعسكر بظاهر المعرة وحاصرها وشرع في قتالها واعتقل سبعين من أعيانها، فلما ضاق الأمر بالمعريين لجأوا إلى أبي العلاء فخرج وقابل صالحًا واستشفع لديه فقال له: قد وهبتها لك يا أبا العلاء، وقد ذكر أبو العلاء الحادثة في قصيدة:
أتت جامع يوم العروبة جامعًا
تقص على الشهاد بالمصر أمرها
فلو لم يقوموا ناصرين لصوتها
لخلت سماء الله تمطر جمرها
والتزم بقرار عزلته من جهة ثانية مدة من الزمان، أي أنه لم يفتح داره لأحد من الناس. قال ابن العديم:"أقام مدة طويلة في منزله مختفيًا لا يدخل عليه أحد. ثم إن الناس تسببوا إليه وألحوا في طلب الشفاعة لديه من أقاربه الأدنين". ثم إنه استجاب لتوسلات المتوسلين ففتح داره لطلاب العلم من كل صقع وصوب، وصارت داره جامعة يؤمها الزائرون من شتى البقاع، وأخذ الناس يفدون إليه، وكاتبه العلماء والوزراء وأهل الأقدار.
كتابه وتلاميذه. قال ابن فضل العمري:"أخذ عنه خلق لا يعلمهم إلا الله،كلهم قضاة وخطباء وأهل تبحر واستفادوا منه، ولم يذكره أحد منهم بطعن ولم ينسب حديثه إلى ضعف أو وهن". ومن أشهر تلاميذه أبو زكريا الخطيب التبريزي وعلي بن المحسن بن علي التنوخي القاضي. وله كتاب يملي عليهم مصنفاته، منهم أبو محمد عبدالله بن محمد القاضي ابن أخيه، وكان برًا بعمه وفيه يقول أبو العلاء:
وقاضٍ لا ينام الليل عني
وطول نهاره بين الخصوم