كان شعره غير مرتَّب، حتى عكف عليه أبو بكر الصولي، ورتبه على حروف الهجاء. قال في كل فنون الشعر: مديحًا، إذْ مدح عددًا من مشاهير عصره ولا سيما آل وهب وآل طاهر، وهجاءً، حيث يُعَدُّ من أقدر الناس على الهجاء؛ لأنه من أشدهم شعورًا بالقبيح وانفعالًا به، ونفورًا منه، ومن أشدهم تمثيلًا له، وقال المستشرق روفون غست: ¸يُعتبر الهجاء ميدان ابن الرومي الذي برز فيه. ويوجد من قصائده عدة قصائد في الهجاء تشتمل على مئات الأبيات، فلا يفوقها في العدد إلا قصائد المديح·، وغزلًا ولاسيما في المغنية وحيد، ورثاء؛ لأنه رُزق عدة بنين فماتوا في حداثتهم، ثم ماتت زوجته وأخوه فعاش عيشة حزن وألم وتشاؤم. وله قصيدة ميمية يرثي بها البصرة. وتعدّ من أجمل ما رُثي به المدن؛ لأن الزنج ثاروا على أهل البصرة سنة 255هـ في خلافة المهتدي ، فتفاقم أمرهم، واكتسحوا البصرة وخرَّبوها، وقتلوا الناس وهدموا الدور، ولم يتمكن العباسيون من إخضاعهم إلا بعد فترة طويلة وجهد كبير.
اشتهر ابن الرومي بتوليد المعاني، ومن ميزاته أنه لا يترك المعنى حتى يستوفيه، ويمثله للقارئ تمثيلًا، ومن هنا جاءت قصائده طويلة، تزيد القصيدة على ثلاثمائة بيت وخاصة قصائد المدح.
يرجع الدارسون لشعره ظاهرة التشاؤم عنده، لمزاجه وفقدان أولاده وزوجه وكرهه للناس. وقد أثرى هذا المزاج الحاد شعره في المراثي بوجه خاص، كما يتجلى في قصيدته المشهورة:
بكاؤكما يشفي وإن كان لايجدي
فجودا فقد أودى نظيركما عندي
وأولادُنا مثل الجوارح أيها
فقدناه كان الفاجع البين الفقدِ
لكلٍّ مكانٌ لايَسُدُّ اختلاله
مكان أخيه في جزوع ولاجَلْد
هل العين بعد السمع تكفي مكانه
أم السمع بعد العين يهدي كما تهدي؟
وعرف عن ابن الرومي أيضًا وصفه الحسي البارع لصور البيئة المختلفة منها قصيدته في وصف صانع الرقاق (الخباز) التي يقول فيها:
إن أنسَ لاأنس خبازًا مررت به
يدحو الرقاقة مثل اللمح بالبصر