مع بن حزم وفارقه في المذهب، وصار هو إمام المالكية في الأندلس، وطبعًا هناك فرق كبير بين نفس بن حزم ونفس بن عبدالبر في الفقه، مع ضلاعة الاثنين لكن بن عبدالبر وأنت تقرأ له تحس أن نفسه هادي وتحس أن أنت مستمتع، وأنت تقرأ لابن حزم تحس أنك مشدود وداخل معركة وتشد القوس وهذا الكلام، ولابد أن أعصابك تتوتر وأنت تقرأ لابن حزم, إنما بن عبدالبر تسترخي تحس أنك أنت مستريح وأنت تقرأ له، حتى أن تقريبًا الذي نجا من لسان بن حزم هو بن عبدالبر، وأثني على كتابه التمهيد لما في الموطأ من المعاني والأسانيد، وهو من أعظم كتب بن عبد البر على الإطلاق، بل من أعظم الكتب الفقهية على الإطلاق هذا الكتاب، يقول كتاب التمهيد لصاحبنا أبي عمر بن عبدالبر ليس في فقه الحديث أفضل منه فضلًا على أن يكون فوقه، كلام بمعنى هذا الكلام. ظل بن حزم يمشي ويأخذ أي عالم في وجهه ويطرحه أرضًا، حتى رجع له أبو الوليد الباجي وكان إمامًا مالكي المذهب ولكنه أتى المشرق عندنا فأخذ عن الشيوخ وظل تقريبًا عدة سنوات سبع سنوات تقربًا ثم رجع إلى الأندلس وجد بن حزم هزم الكل، فوقف لابن حزم وصارت بينهما مساجلات كثيرة ظفر فيها بن حزم مرة وظفر فيها أبو الوليد الباجي مرة، وقد اعترف بن حزم لأبي الوليد بالعلم فيها وهذه المناظرات جمعها عالم من علماء المغرب في مجلد كبير، كتاب ممتع، مناظرات بن حزم وأبو الوليد الباجي، وظل بن حزم على هذه الخطة حتى وُشي به، فأرجعوه ونفوه إلى بلده مرة أخرى وأحرقوا كل كتبه، من ضمن ما حرق كتاب الإيصال إلى ذكر الخصال، وهذا الكتاب هو أطول كتاب لابن حزم، وهو الذي فيه علم بن حزم