وفي سنة ست وثمانين ومائة أخذ البيعة للقاسم ابنه بولاية العهد بعد المأمون وسماه المؤتمن فصاروا بعهده ثلاثة الأمين ثم المأمون ثم المؤتمن وخرج رافع بن ليث بن نصر بن سيار بسمرقند وغلب على ما وراء النهر فولى الرشيد هرثمة بن أعين خراسان واستكفاه أمر رافع وقدم المأمون إلى مرو وسار بنفسه فلما بلغ طوس توفي بها فدفن في سنة ثلاث وتسعين ومائة وقد بلغ من السن سبعًا وأربعين سنة وكانت ولايته ثلاثًا وعشرين سنة وشهرين وأيامًا فرثاه ابو الشيص [رمل]
غربت في المشرق الشمس ... فقل للعين تدمع
فلما مات هارون بايع الناس لولده الثلاثة على الوفاء بالعهد بعضهم لبعض،،،
فنكث وغدر وولى ابنه موسى العراق وهو طفل ولقبه الناطق بالحق وأمر بالدعاء له على المنابر ونهى عن الدعاء للمأمون وأمر بإبطال ما ضرب المأمون من الدراهم والدنانير بخراسان وأغرى الفضل بن الربيع بينه وبين المأمون وزين له