كان علي بن الجهم فارسًا وسيمًا شجاعًا، جمع بين الثقافة والفتوة وقول الشعر والعلم والأدب وشرف النسب والثروة والجاه. وهو شاعر مطبوع، أظهر خصائص شعره الطبع والجزالة وتأدية المعنى بأوضح السبل وأيسرها. يقل في شعره التقديم والتأخير والحذف والتقدير. مقتصد في تشبيهاته واستعاراته. وهو من أقل شعراء عصره في الصنعة اللفظية. وهو ، بهذا، قريب من مذهب عمود الشعر الذي يمثله البحتري، وبعيد عن مذهب الصنعة البديعية الذي يمثله أبو تمام.
عالج ديوانه مختلف أغراض الشعر من المدح والاستعطاف والرثاء والهجاء والغزل والفخر والحكمة. وقد جعلته نكبته يكثر من التأمل في الحياة والأحياء من حوله.
ومن مشهور قصائده قوله:
قالت حُبست فقلت ليس بضائري
حبسي وأي مهند لايغمَدُ
أو مارأيت الليث يألف غيله
كبرًا وأوباش السباع تَرَدَّدُ
والشمس لولا أنها محجوبةٌ
عن ناظريك لما أضاء الفرقدُ
والبدر يدركه السِّرار فتنجلي
أيامه وكأنه متجدّدُ
وعلي بن الجهم هو صاحب البيتين الشهيرين اللَّذين يستشهد بهما النقاد على أثر البيئة في طبع الشاعر وحسه، وهما:
عيون المها بَيْن الرصافة والجسْرِ
جلبن الهوى من حيث أدري ولا أدري
أعدْن لي الشوق القديم ولم أكن
سلوت ولكن زدتُ جمرًا إلى جمر