حين كان شارلمان يطمع في الاستيلاء على الأندلس أيضاً وضمِّها للإمبراطورية الكارولنجية. وبالفعل، تم استدعاء شارلمان بجيشه إلى الأندلس في سبيل تنفيذ الاتفاق بينهما. ولما كان شارلمان وجيشه برفقة الأعرابي على مشارف سرقسطة، أقدم الحسين بن يحيى الأنصاري على إغلاق أبواب سرقسطة في وجه شرلمان وجيشه. ولم يفلح شارلمان في دخول سرقسطة، فانسحب إلى بلاده عبر جبال ألبرت (1) معلناً فشل اتفاقه وتآمره على الداخل. فأقدم على تغيير سياسته ضد الإمارة الأموية، فتمت بين الطرفين

(1) ابن خلدون، المصدر السابق، ج 4، ص. 269.