توفي الإمامُ الترمذيُّ لثلاث عشرة ليلةً مضت من رجب سنةَ تسعٍ وسبعين ومئتين كما قال غيرُ واحدٍ من العُلماء، منهم أبو العباس المستغفري المؤرخ الكبير، ومحمدُ بنُ أحمد غنجار الحافظ في "تاريخ بُخارى"، ويوسفُ بنُ أحمد البغدادي الحافظ، والحافظُ ابن ماكولا وابن الأثير الجزري صاحب "جامع الأصول"، وغيرهم.
وذكر السمعاني في "الأنساب" في نسبة البوغي أنه توفي سنة خمس وسبعين، وفي نسبة الترمذي أنه توفي سنة نيّف وسبعين، وقال الخليلي: مات بعد الثمانين، والصحيح هو الأول، وعليه اقتصر الحفّاظُ أبو القاسم الإسعردي في "فضائل الكتاب الجامع"، وأبو الحجاج المزي في "تهذيب الكمال" وابنُ حجر العسقلاني في "تقريب التهذيب" وصوَّبه الحافظ ابن نقطة في "التقييد" في ترجمة الإمام الترمذي.