ولكن سيبويه مع ذلك لم تطب له الإقامة ببغداد، فرأى أن يفارقها إلى الأهواز فيقال إنه سأل عمن بذل من الملوك ويرغب في النحو، فقيل له: طلحة بن طاهر فاعتزم الخروج إليه، فيقول بعضهم: إنه عرج على البصرة قبل الخروج إليه، ويقول آخرون: إنه مضى إليه قدما، وآخر: إنه دخل شاطئ البصرة ووجه يطلب الأخفش تلميذه، فجاءه فقص عليه ما جرى بينه وبين الكسائى، ثم استودعه الله، وسار إلى طلبه بالأهواز التى يقال إنها كانت مسقط رأسه، فمات بها، وقيل إنه مات بشيراز، وخبره به، ويختلف المؤرخون في تاريخ وفاته اختلافًا شديدًا، وأرجح الأقوال أنه توفى سنة 180 هـ.
عرف كتاب سيبويه من قديم الدهر إلى يومنا هذا باسم الكتاب، أو كتاب سيبويه، ومن المقطوع به تاريخيًا أن سيبويه لم يسمه باسم معين، على حين كان العلماء في دهره، ومن قبل دهره يضعون لكتبه أسماء، ولقد سماه الناس قديمًا (قرآنا النحو) ومن طريف ما يروى أن أحد نحاة الأندلس، كان يختم الكتاب لسيبويه في كل خمسة عشر يومًا، كأنما يتلوه تلاوة القرآن، ولقد بلغ من إعجاب أبى عمر الجرمى أنه كان يقول (أنا منذ ثلاثين سنة أفتى الناس في الفقه من كتاب سيبويه) .
وقد ألفه سيبويه بعد موت الخليل (ت 160 هـ) الذى انتفع بعلمه انتفاعًا ظاهرًا كما انتفع بعلم شيوخه الذين سبق الكلام عليهم، وهذا يعنى أن كتاب سيبويه إنما هو لقاح جهود النجاة الذين سبقوه، إذ لا يعقل أن يبتدع سيبويه هذا العلم المتكامل دون أن يفيد من تلك الجهود الأصيلة التى رسمت كثيرًا من أصول النحو ومسائله ومقاييسه وعلله.