كانت أمه تمانع في سفره أول الأمر، ولكنه أقنعها فأذنت له، وأعد له خاله أبو طاهر سفينة انحدر بها إلى الفرات حتى بلغ القادسية، وهناك لقيه عمال السلطان فاغتصبوا سفينته واضطروه إلى أن يسلك طريقًا مخوفة إلى بغداد، وعند وصوله نظم قصيدة قدمها إلى أبي حامد الأسفراييني واصفًا سفره وجور عمال السلطان طالبًا مودة أبي حامد ومساعدته في رد سفينته. ويتظرف فيها واصفًا سفره البري باصطلاح الفقهاء:
ورب ظهر وصلناها على عجل
بعصرها من بعيد الورد لمّاع
بضربتين لطهر الوجه واحدة
وللذراعين أخرى ذات إسراع
وكم قصرنا صلاة غير نافلة
في مهمه كصلاة الكسف شعشاع
ولا يذكر المؤرخون أسبابًا لرحلته تلك سوى أنها للسياحة وطلب العلم والحرص على الشهرة بمدينة السلام، وربما أشاروا من طرف خفي إلى فقره وطلبه الغنى. ولكن القفطي والذهبي ينصان على أن عامل حلب كان قد عارض أبا العلاء في وقف له، فارتحل إلى بغداد شاكيًا متظلمًا. وقد يكون الاضطراب السياسي في الشام آنذاك أحد الأسباب التي أخرجته وبغضت إليه المعرة فتركها ليقيم ببغداد. وكانت أجزاء كبيرة من الشام قد خضعت للعبيديين وهم من الشيعة الباطنية وكان المعري مبغضًا لهم غاية البغض، فيرجح بعض الدارسين أن خروجه قد يكون بسبب تحكم هؤلاء في المعرة في السنة التي خرج فيها.
أما المعري فينفي أن يكون خروجه طلبًا لدنيا أو التماسًا لرزق:
أنبئكم أني على العهد سالم
ووجهي لما يبتذل بسؤال
وأني تيممت العراق لغير ما
تيممه غيلان عند بلال
وكرر هذا في رسائله لأهل المعرة ولخاله، وذكر أن أهل بغداد بذلوا له الأموال ليبقى بينهم، ولكن وجدوه"غير جذل بالصفات ولاهش إلى معروف الأقوام".