سكن الكوفة زمانا ثم انتقل عنها إلى بغداد وحدث بها عن الحسن البصري وقتادة، ويَحيَى بن أبي كثير.
رَوَى عنه عَبد الرحمن بن مَهدي ومعاذ بن معاذ العنبري ويزيد بن هارون، والحُسين بن محمد المروذي، وَالحَسن بن موسى الأشيب ويونس بن محمد المؤدب وعلي بن الجعد وغيرهم.
وكان يؤدب سليمان بن داود الهاشمي ببغداد.
وذكر لي أَبو الحسن علي بن أَحمد النعيمي، عَن أبي أَحمد الحسن بن عَبد الله بن سعيد العسكري أن شيبان النحوي نسب إلى بطن يقال لهم بنو نحو ثم قرأت بخط النعيمي، عَن أبي أَحمد ذلك وقال هم بنو نحو بن شمس بضم الشين من بطن من الأزد.
قلت: وذكر أَبو الحسين ابن المُنادي أن المنسوب إلى القبيلة من الأزد التي يقال لها نحو هو يزيد النحوي لا شيبان فأخبرني أَبو الحسن محمد بن عَبد الواحد، قال: حَدثنا عُبَيد الله بن محمد الحوشبي، قال: حَدثنا أَبو بكر عَبد الله بن سليمان بن الأشعث قال يزيد النحوي هو يزيد بن أبي سعيد وهو بطن من الأزد يقال لهم بنو نحو ليسوا من نحو العربية ولم يرو منهم الحديث إلا رجلان أحدهما يزيد هذا وسائر من يقال له النحوي فمن نحو العربية شيبان بن عَبد الرحمن النحوي وهارون بن موسى النحوي، وأبو زيد النحوي.