قلت: إلا أنه كانت تعتريه حدة على المخالف، وربما انقلبت محبته لمن خالفه عداوة وبغضا وحطا لقدر مخالفه. ولعل ذلك كان من الأسباب التي دعته إلى الهجرة من غرناطة، فقد حملته حدة الشبيبة على التعرض للأستاذ أبي جعفر بن الطباع، وقد وقعت بينه وبين أستاذه أبي جعفر بن الزبير وقعة، فنال منه، وتصدى لتأليف في الرد عليه وتكذيب روايته، فرفع أمره إلى السلطان، فأمر بإحضاره وتنكيله، فاختفى، ثم ركب البحر ولحق بالمشرق.
وكذا ما وقع بينه وبين الإمام ابن تيمية من بعد مدحه والثناء عليه شعرا ونثرا، وتعرضه للإمام تقي الدين ابن دقيق العيد كذلك. وقد قيل: إنه كان يغض من ألفية ابن مالك.