كان المهدي قد ضم هارون الرشيد إليه وجعله في حجره فلما استخلف هارون عرف ليَحيَى حقه، وَكان يعظمه وإذا ذكره قال أبي وجعل اصدار الأمور وإيرادها إليه إلى أن نكب هارون البرامكة فغضب عليه وخلده الحبس إلى أن مات وقتل جعفر ابنه.
أخبرنا الحسن بن محمد الخلال، قال: حَدثنا أَحمد بن محمد بن عمران، قال: أَخبَرنا أَبو بكر محمد بن يَحيَى النديم، قال: قال يَحيَى بن خالد ثلاثة أشياء تدل على عقول أربابها الهدية والكتاب والرسول، وَكان يقول لولده اكتبوا أحسن ما تسمعون واحفظوا أحسن ما تكتبون وتحدثوا بأحسن ما تحفظون.