وغدر من الأمير محمد بن الأحمر المعروف بالمخلوع ( [14] ) حيث وجه ابن عمه أبي سعيد فرج بن إسماعيل بن يوسف بن الأحمر الذي داهم سبتة بأساطيله واحتلها وقبض على بني العزفي ونقلهم إلى الأندلس ( [15] ) .

ولكن هذا الاحتلال لم يدم طويلا، بل سرعان ما عاد العزفيون إلى بلدهم بعد أن استرد السلطان أبو الربيع سليمان (708 - 710هـ/1308 - 1310م) سبتة وأخرج بني الأحمر منها فاستأذنه بنو العزف بالسماح لهم بالعودة إلى المغرب والقدوم عليه فأذن لهم واستقروا بفاس ( [16] ) . ثم عادوا إلى حكم بلادهم في عهد السلطان أبي سعيد عثمان المريني (710 - 731هـ/1310 - 1330م) حيث تولى رئاسة الإمارة أبو عمر يحيى بن أبي طالب سنة 710هـ/1310م والذي كان على قدر كبير من الشجاعة، ولكن الظروف لم تكن تساعد على استرجاع بني العزفي لمجدهم الأول، ولهذا نجد أن الأمير أبا عمر لا يمكث في الإمارة إلا سنة وستة أشهر ثم يخلع سنة 711هـ/1311م، ويعود ثانية إلى حكم إمارته سنة 714هـ/131م، ويستمر في الحكم حتى وفاته سنة 719هـ/1319م ( [17] ) وتولى الإمارة من بعده ابنه أبو القاسم محمد بن يحيى، وكان آخر أمراء البيت العزفي، فقد خلع بعد ستة أشهر من حكمه في سنة 720هـ/1320م وغادر إلى غرناطة ثم انتقل إلى فاس وعمل كاتبا لبني مرين، وزهد في تولي المناصب الكبرى في الحكم، فقد أراد السلطان أبو عنان فارس المريني (752 - 759هـ/1352 - 1358م) أن يستعمله على قسنطينة، لكنه اعتذر لبعد الشقة عن ولده وبلده، وبقي يعمل كاتبا بالحضرة المرينية حتى وفاته ( [18] ) .

وتغلب على الإمارة من بعده ابن عمه محمد بن علي بن الفقيه أبي القاسم الذي كان يعمل قائدا للبحرية في سبتة مكان القائد يحيى