كان الهادي قد جد في خلع الرشيد والبيعة لابنه جعفر وكان سبب ذلك أن الهادي لما عزم على خلعه ذكره لقواده فأجابه إليه يزيد بن مزيد الشيباني وعبد الله بن مالك وعلي بن عيسى وغيرهم فخلعوا هارون وبايعوا لجعفر ووضعوا الشيعة فتكلموا في ذلك وتنقصوا الرشيد في مجلس الجماعة وقالوا لا نرضى به وصعب أمرهم وأمر الهادي أن لا يسار بين يدي هارون بالحربة فاجتنبه الناس وتركوا السلام عليه
وكان يحيى بن خالد بن برمك يتولى أمور الرشيد بأمر الهادي فقيل للهادي ليس عليك من أخيك خلاف إنما يحيى يفسده فبعث إليه وتهدده ورماه بالكفر ثم أن استدعاه ليلة فخاف وأوصى وتحنط وحضر عنده فقال له يا يحيى مالي ولك علي ما يكون من العبد إلى مولاه إلا طاعته فقال لم تدخل بيني وبين أخي وتفسده علي فقال من أنا حتى أدخل بينكما إنما صيرني المهدي معه ثم أمرتني أنت بالقيام بأمره فانتهيت إلى أمرك فسكن غضبه
وقد كان هارون الرشيد طاب نفسا بالخلع فمنعه يحيى عنه فلما أحضره الهادي وقال له في ذلك قال يحيى يا أمير المؤمنين إنك أن حملت الناس على نكث الأيمان هانت عليهم أيمانهم وإن تركتهم على بيعة أخيك ثم بايعت لجعفر بعده كان ذلك أؤكد للبيعة
قال صدقت وسكت عنه
فعاد أولئك الذين بايعوه من القواد والشيعة فحملوه على معاودة الرشيد بالخلع فأحضر يحيى وحبسه فكتب إليه أن