مات هو وأربعة إخوة له بالطاعون في زمن عمر وكانوا قد بلغوا ولهم بأس ونجدة فرثاهم بالقصيدة الشهيرة التي أولها:
أمن المنون وريبها يتوجع ... ولدهر ليس بمُعَتِّب من يجزع.
ويقول فيها:
وإذا المنية أنشبت أظفارها ... ألفيت كل نميمة لا تنفع.
قال المرزباني عامة ما قال أَبو ذؤيب من الشعر في الإسلام، وكان موته بإفريقية في زمن عثمان.