ولما قتل واضح - الصقلي الحاجب - المهدي، وبايع الناس لهشام المؤيد خلافته الثانية، وقام واضح بأمره وحجابته، والبرابرة مع سليمان المستعين يفاتنون قرطبة، ويرومون دخولها. وكان هوى بني ذكوان في جماعة الناس الى السلم وصلح البرابرة وصاحبهم. فيقال إن ابن ذكوان نصح لهشام في واضح فبلغت واضحًا. فسعى على بني ذكوان، بالتهمة في الميل الى البرابرة، وأن الناس تبع لما يشيرون به. فنفذ أمر هشام بإخراجهم عن الأندلس، ونفيهم الى العدوة. فأخرج أبو العباس وأخوه أبو حاتم وأخوهما الأديب أبو عمر. وذلك في سنة إحدى وأربعماية. ووكل بهم من يوصلهم، فحملوا الى المرية، وأجيزوا لحينهم البحر في حال شدة ارتجاجه، وعنِّف بهم، وخلفوا دوابهم