فهو كافر ومن سرق ومن شك في كفرهما فهو كافر وأقام أبو حمزة بالمدينة ثلاثة اشهر
ثم أن أبا حمزة ودع أهل المدينة وقال لهم يا أهل المدينة أنا خارجون إلى مروان فان نظفر نعدل في إخوانكم ونحملكم على سنة نبيكم وان يكن ما تتمون فسيعلم الذين ظلموا أي منقلب ينقلبون ثم سار نحو الشام وكان مروان قد انتخب من عسكره أربعة آلاف فارس واستعمل عليهم عبد الملك بن محمد بن عطية السعدي سعد هوازن وأمره أن يجد السير وأمره أن يقاتل الخوارج فت هو ظفر بهم يسير حتى يبلغ اليمن ويقاتل عبد الله بن يحيى طالب الحق فسار ابن عطية فلقي أبا حمزة بوادي القرى فقال أبو حمزة لأصحابه لا تقاتلوهم حتى تختبروهم فصاحوا بهم ما تقولون في القرآن والعمل به فقال ابن عطية نضعه في جوف الجواليق فقال فما تقولون في مال اليتيم قال ابن عطية نأكل ماله ونفجر بأمه في أشياء سألوه عنها فلما سمعوا كلامه قاتلوه حتى أمسوا وصاحوا ويحك يا ابن أن الله قد جعل الليل سكنا فاسكن فأبى وقاتلهم حتى قتلهم وانهزم أصحاب أبي حمزة من لم يقتل وأتوا المدينة فلقيهم أهل المدينة فقتلوهم وسار ابن عطية إلى المدينة فأقام شهرا وفيمن قتل مع أبي حمزة عبد العزيز القاري المدني المعروف بيشكست النحوي وكان من أهل المدينة يكتب مذهب الخوارج فلما دخل أبو حمزة المدينة انضم إليه فلما قتل الخوارج قتل معهم
ولما أقام ابن عطية بالمدينة شهرا سار نحو اليمن واستخلف على المدينة الوليد ابن عروة بن محمد بن عطية واستخلف على مكة رجلا من أهل الشام وقصد اليمن وبلغ عبد الله بن يحيى طالب الحق مسيره وهو بصنعاء فاقبل إليه بن معه فالتقى هو وابن عطية فاقتتلوا فقتل ابن يحيى وحمل رأسه إلى مروان بالشام ومضى ابن عطية إلى صنعاء