وقد اختلفت الرواة في سبب وفاته
أخبرني علي بن سليمان الأخفش عن أبي سعيد السكري عن يعقوب بن السكيت أنه بلغ أربعين سنة وفيها توفي وهو خارج إلى هشام بن عبد الملك ودفن بحزوى وهي الرملة التي كان يذكرها في شعره
أخبرني أبو خليفة عن محمد بن سلام قال حدثني ابن أبي عدي قال
قال ذو الرمة بلغت نصف الهرم وأنا ابن أربعين سنة
قال ابن سلام وحدثني أبو الغراف أنه مات وهو يريد هشاما وقال في طريقه في ذلك
( بلادٌ بها أهلُون لستُ ابن أهلها ... وأُخْرَى بها أهلون ليس بها أهلُ )
وقال هارون بن محمد بن عبد الملك حدثني القاسم بن محمد الأسدي قال حدثني جبر بن رياط قال
أنشد ذو الرمة الناس شعرا له وصف فيه الفلاة بالثعلبية فقال له حلبس الأسدي إنك لتنعت الفلاة نعتا لا تكون منيتك إلا بها
قال وصدر ذو الرمة على أحد جفري بني تميم وهما على طريق الحاج من البصرة فلما أشرف على البصرة قال