سمع إسحاق بن سليمان الرازي، ومَكِّي بن إبراهيم البلخي وعليّ بن محمد الطنافسي.
رَوَى عنه الغرباء من أهل الري وهمذان وخراسان أحاديث مسندة قليلة، وَكان قد انتقل عن الري فسكن نيسابور إلى أن مات بها وقدم بغداد واجتمع بها إليه مشايخ الصوفية.
فأخبرني الحسن بن محمد الخلال، قال: حَدثنا يَحيَى بن علي القصري، قال: حَدثنا جعفر بن محمد بن نصير الخلدي قال بلغني أن يَحيَى بن معاذ قدم إلى بغداد فاجتمع إليه النساك ونصبوا له منصبه وأقعدوه عليها وقعدوا بين يديه يتحاورون فتكلم الجنيد فقال له يَحيَى اسكت يا خروف مالك والكلام إذا تكلم الناس، قال: وَكان ليَحيَى بن معاذ أخ يقال له إسماعيل بن معاذ، وَكان صاحب أدب وشعر ومجالسة للملوك وكانت له امرأة يقال لها: فاطمة.