حكى الذهبي أن بعض علماء السنة اتفقوا مع الخوارج على مواجهة الدولة العبيدية الفاطمية الملحدة هنا في مصر، فقال: وعوتب بعض العلماء في الخروج مع أبي يزيد الخارجي فقال: وكيف لا أخرج وقد سمعت الكفر بأذني؛ حضرت عقدًا فيه جمع من أهل السنة والمشارقة، وفيهم أبو قضاعة الداعي، فجاء رئيس فقال كبير منهم: إلى هنا يا سيدي ارتفع إلى جانب رسول الله -يعني بذلك أبا قضاعة - فما نطق أحد.
وخرج أبو إسحاق الفقيه مع أبي يزيد وقال: هم من أهل القبلة وأولئك ليسوا أهل قبلة، وهم بنو عدو الله، فإن ظفرنا بهم لم ندخل تحت طاعة أبي يزيد؛ لأنه خارجي.