فقال له عبد الملك لعلك أخذته من غير حله وأنفقته في غير حقه وأرصدت به لمشاقة أولياء الله وأعددته لمعاونة أعدائه فنزعه منك إذ استظهرت به على معصية الله فقال عبد الله
( أدنو لِتَرْحَمَني وتُجْبِرَفاقتي ... فأراك تَدْفَعُنِي فأين المَدْفَعُ ) - كامل -
فتبسم عبد الملك وقال له إلى النار فمن أنت الآن قال أنا عبد الله بن الحجاج الثعلبي وقد وطئت دارك وأكلت طعامك وأنشدتك فإن قتلتني بعد ذلك فأنت وما تراه وأنت بما عليك في هذا عارف ثم عاد إلى إنشاده فقال
( ضاقت ثيابُ المُلبِسين وفضلُهُمْ ... عنِّي فألبِسْني فَثَوْبُكَ أَوْسَعُ ) - كامل -
فنبذ عبد الملك إليه رداء كان على كتفه وقال البسه لا لبست فالتحف به ثم قال له عبد الملك أولى لك والله لقد طاولتك طمعا في أن يقوم بعض هؤلاء فيقتلك فأبى الله ذلك فلا تجاورني في بلد وانصرف آمنا قم حيث شئت
قال اليزيدي في خبره قال عبد الله بن الحجاج ما زلت أتعرف منه ما أكره حتى أنشدته قولي
( ضاقت ثيابُ الملبِسين وفضلُهُمْ ... عني فألبِسْني فَثَوْبُكَ أوسعُ )
فرمى عبد الملك مطرفه وقال البسه فلبسته