يخلع أخاه الرشيد من ولاية العهد، ويجعلها لابنه جعفر بن موسى، وحبس يحيى بن خالد البرمكي، وأراد قتله، فقال له يحيى وكان القيم بأمر الرشيد: يا أمير المؤمنين، أرأيت إن كان ما أسأل الله أن يعيذنا منه، وأن لا يبلغناه، ويَنسَأ في أجَلِ أمير المؤمنين، أيظن أن الناس يُسلَمون لجعفر ابن أمير المؤمنين الأمر ولم يبلغ الحنْثَ، ويرضون به لصلاتهم وحَجِّهم وغزْوهم؟ قال: ما أظن ذلك، قال: فتأمن أن يسمو إليها جلة أهل بيتك فتخرج من ولد أبيك إلى غيرهم؟ فتكون قد حملت الناس على النكث، وهَوّنت عليهم أيمانهم، ولو تركت بيعة أخيك على حالها وبُويِعَ لجعفر بعده كان آكد، فإذا بلغ مبلغ الرجال سألت أخاك أن يقدمه على نفسه، قال: نبهتني والله على أمر لم أكن قد انتبهت له، ثم عزم بعد ذلك على خلعه رضي أم كره، وأمر بالتضييق عليه في الأكثر من أموره فأشار عليه يحيى أن يستأذنه في الخروج إلى الصَّيد، وأن يطيل التشاغل بذلك، فان مدة موسى قصيرة على ما أوجبته قضية المولد، واستأذنه الرشيد، فأذن له، فسار الى شاطئ الفرات من بلاد الأنبار وهَيتَ، وتوسط البر مما يلي السماوة، وكتب الهادي إليه يأمره بالقدوم فأكثر الرشيد التعلل، وبسط الهادي لسانه في شتمه، وسنح للهادي الخروج نحو بلاد الحديثة، فمرض هناك، وانصرف وقد ثقل في العلة فلم يجسر أحد من الناس على الدخول عليه إلا صغار الخدم، ثم أشار اليهم أن يحضروا الخيزران أمه، فصارت عند رأسه، فقال لها: أنا هالك في هذه الليلة، وفيها يلي أخي هرون، وأنت تعلمين ما قضى به أصل مولدي بالري، وقد كنت أمرتك بأشياء ونهيتك عن أخرى، مما أوجبته سياسة الملك، لا موجبات الشرع من برك، ولم أكن بك عاقا، بل كنت لك صائنًا وبرًا واصلا، ثم قضى قابضًا على يدها، واضعًا لها على صدره.
وكان مولده بالري، وكذلك مولد هرون الرشيد، فكانت تلك الليلة