وقال الثوري: قلت لجعفر يا ابن رسول الله اعتزلت الناس فقال يا سفيان فسد الزمان وتغير الإخوان فرأيت الانفراد أسكن للفؤاد ثم قال:
ذهب الوفاء ذهاب أمس الذاهب ... فالناس بين مخاتل وموارب
يفشون بينهم المودة والصفا ... وقلوبهم محشوة بعقارب
وقال الواقدي: جعفر من الطبقة الخامسة من التابعين من أهل المدينة.
قال الواقدي: توفي في خلافة أبي جعفر المنصور بالمدينة سنة ثمان وأربعين ومئة ودفن بالبقيع مع أبيه وجده وعلى قبورهم رخامة مكتوب عليها بسم الله الرحمن الرحيم لله مبيد الأمم ومحيي الرمم هذا قبر فاطمة بنت رسول الله سيدة نساء العالمين وقبر علي بن الحسين ومحمد بن علي وجعفر بن محمد عليهم السلام.
واختلفوا في مبلغ سنه على أقوال: