وفي سنة 488هـ (1095م) ، ارتحل إلى بغداد، ودرس مذهب الإمام أحمد بن حنبل، ثم سلك طريق التصوف على يد حمّاد الدّباس ( ) .
بعد ذلك، قضى الجيلاني (25) عامًا يسيح في صحاري العراق، كان يأوي خلالها إلى الخرائب معتزلًا الناس، ملازمًا لأنواع الرياضات والمجاهدات الصوفية، وقد قال هو عن تلك الرحلة:"قاسيت في بدايتي الأهوال، وكنت أقتات بقمامة البقل من شاطئ النهر، وكانت على رأسي خريقة، وعلى ظهري جبة صوف، وربما حملني الناس إلى البيمارستان (المستشفى) ، وقد تكرر ذلك، وكانت تطرقني الأحوال ليلًا وأنا في الصحراء، فأملأ البر صراخًا" ( ) . ثم عاد عبد القادر إلى بغداد ، واشتغل بالتدريس والوعظ ونشر التصوف، حتى توفي سنة (561 هـ) ، ودفن في المدرسة التي أسسها في بغداد، وله مؤلفات أهمها:
1-الغنية لطالبي طريق الحق عز وجل.
2-الفتح الرباني.
3-فتوح الغيب.
4-الفيوضات الربانية.
5-جلاء الخاطر في الباطن والظاهر ( ) .
وبعد وفاة عبد القادر، خلفه على الطريقة ابنه عبد الوهاب (522 - 593هـ) ، ثم بعد وفاته، رأس الطريقة أخوه أبو بكر عبد الرزاق (528 ـ 603هـ) ، الذي يروي عنه الصوفية أنه ظل ثلاثين سنة لا يرفع رأسه إلى السماء، حياءً من الله ( ) . ويعتقد المتصوفة أن انتشار الطريقة القادرية في مصر يعود إلى أحد أبناء عبد القادر الجيلاني، وهو عيسى بن عبد القادر، صاحب كتاب"جواهر الأسرار ولطائف الأنوار"ويقولون إن عيسى"استحضر الرّمان لامرأة تعالج به، وكان أبوه الإمام قد وصفه لها في غير موسمه، عندئذ قال له أبوه إن بغداد لن تسعهما معًا، وأمره بنزول مصر" ( ) ، وبسبب ذلك فإن العامة تسمي عيسى الجيلاني"أبا رمانة".
أهم عقائدها: