ولما أفضت الخلافة إلى محمد الأمين أطلق محمدا وموسى ابني يحيى بن خالد من الحبس بالرقة، ووصل جماعة آل برمك: الرجال والنساء، وأحسن إليهم، ولم يتصرفوا معه، فلما ضاق أمر محمد، وحبسه الحسين بن علي بن عيسى، وأحاط هرثمة بالمدينة، شخص العباس بن الفضل ابن يحيى، وأحمد بن محمد بن يحيى إلى الفضل بن سهل، فلما وصلا إليه برهما، وأكرمهما أشد إكرام، وأوصلهما إلى المأمون، ولم يزل قائما حتى قبَلا يده، والمأمون يقول له: اجلس يا ذا الرياستين ولا تقم؛ فيقول: يا أمير المؤمنين، إن لهما علي حقا أرجو أن أقضيه بك، ثم أمر بالخلع عليهما وحملانهما، وأجرى عليهما أنزالا واسعة، وكتب إلى محمد بن يحيى يستدعي مصيره إليه، ويشير عليه بالدخول في جملة المأمون؛