له كتب مصنفة في علوم النحو أبدع فيها وأحسن منها التلقين واللمع والتعاقب في العربية وشرح القوافي والمذكر والمؤنث وسر الصناعة والخصائص وغير ذلك، وَكان يقول الشعر ويجيد نظمه وأبوه جني كان عبدا روميا مملوكا لسليمان بن فهد بن أَحمد الأزدي الموصلي.
أنشدني يَحيَى بن علي التبريزي لعثمان بن جني من قصيدة طويلة: من مجزوء الوافر
فإن أصبح بلا نسب ... فعلمي في في الورى نسبي
على أني أؤول إلى ... قروم سادة نجب
قياصرة إذا نطقوا ... أرم الدهر ذو الخطب
أولاك دعا النبي لهم ... كفى شرفا دعاء نبي
سكن ابن جني بغداد ودرس بها العلم إلى أن مات وكانت وفاته ببغداد على ما ذكر لي أَحمد بن علي بن التوزي في يوم الجمعة لليلتين بقيتا من صفر سنة اثنتين وتسعين وثلاث مِئَة.