كان من علو القدر ونفاذ الأمر وعظم المحل وجلالة المنزلة عند هارون الرشيد بحالة انفرد بها ولم يشارك فيها، وَكان سمح الأخلاق طلق الوجه ظاهر البشر فأما جوده وسخاؤه وبذله وعطاؤه فكان أشهر من أن يذكر وأبين من أن يظهر، وَكان أَيضًا من ذوي الفصاحة والمذكورين باللسن والبلاغة ويقال إنه وقع ليلة بحضرة الرشيد زيادة على ألف توقيع ونظر في جميعها فلم يخرج شيء منها عن موجب الفقه، وَكان أبوه يَحيَى بن خالد قد ضمه إلى أبي يوسف القاضي حتى علمه وفقهه وغضب الرشيد عليه في آخر أمره فقتله ونكب البرامكة لأجله.
أخبرنا الحسين بن علي الصيمري، قال: حَدثنا محمد بن عمران بن موسى أخبرني محمد بن أبي الأزهر، قال: حَدثنا محمد بن يزيد النحوي قال زعم الجاحظ أن ثمامة بن أشرس النميري قال ما رأيت رجلا أبلغ من جعفر بن يَحيَى والمأمون.