وفي هذه السنة أوقع الرشيد بالبرامكة وقتل جعفر بن يحيى وكان سبب ذلك أن الرشيد كان لا يصبر عن جعفر وعن أخته عباسة بنت المهدي وكان يحضرهما إذا جلس للشرب فقال لجعفر أزوجكها ليحل لك النظر اليها ولا تقربها فإني لا أطيق الصبر عنها فأجابه إلى ذلك فزوجها منه وكانا يحضران معه ثم يقوم عنهما وهما شابان فجامعهما جعفر فحملت منه فولدت له غلاما فخافت الرشيد فسيرته مع حواضن له إلى مكة فأعطته الجواهر والنفقات ثم إن عباسة وقع بينها وبين بعض جواريها شر فأنهت أمرها وأمر الصبي إلى الرشيد وأخذت علما بمكانه
فحج هارون هذه السنة وبحث عن الأمر فعلمه وكان جعفر يصنع للرشيد طعاما بعسفان إذا حج فصنع ذلك ودعاه فلم يحضر عنده فكان ذلك أول تغير أمرهم
وقيل كان سب ذلك أن الرشيد دفع يحيى بن عبد الله بن الحسن بن الحسن بن علي إلى جعفر بن يحيى بن خالد فحبسه ثم دعا به ليلة وسأله عن بعض أمره فقال له اتق الله في أمري ولا تتعرض أن يكون غدا خصمك محمد فوالله ما أحدثت حدثا ولا آويت محدثا فرق له وقال اذهب حيث شئت من بلاد الله قال فكيف أذهب ولا آمن أن أؤخذ بعد قليل فوجه معه من أداه إلى مأمنه وبلغ الخبر الفضل بن الربيع من عين كانت له من خواص جعفر فرفعه إلى الرشيد فقال ما أنت وهذا فعله عن أمري ثم أحضر جعفرا للطعام فجعل يلقمه ويحادثه ثم سأله عن يحيى فقال هو بحاله في الحبس الضيق والأكبال فقال بحياتي ففطن جعفر وكان من أدق الخلق ذهنا وأصحهم فكرا فهجس في نفسه أنه قد علم بشيء من أمره