أبا إسحاق المعتصم قد حج في جماعة من القواد فيهم حمدويه بن علي بن عيسى بن ماهان وقد استعمله الحسن بن سهل على اليمن فعلم العقيلي أنه لا يقوى لهم فأقام ببستان ابن عامر فاجتازت به قافلة من الحاج ومعهم كسوة الكعبة وطيبها فأخذ أموال التجار وكسوة الكعبة وطيبها وقدم الحجاج مكة عراة منهوبين فاستشار المعتصم أصحابه فقال الجلودي أنا أكفيك ذلك فانتخب مائة رجل وسار بهم إلى العقيلي فصحبهم فقاتلهم فانهزموا وأسر أكثرهم وأخذ كسوة المعبة وأموال التجار إلا ما كان مع من هرب قبل ذلك فرده وأخذ الأسرى فضرب كل واحد منهم عشرة أسواط وأطلقهم فرجعوا إلى اليمن يستطعمون الناس فهلك أكثرهم في الطريق جوعا وعريا
لما فرغ هرثمة من أبي السرايا رجع فلم يأت الحسن بن سهل وكان بالمدائن بل سار على عقرقوف حتى أتى البردان والنهروان وأتى خراسان فاتته كتب المأمون في غير موضع لأن يأتي إلى الشام والحجاز فأبى وقال لا أرجع حتى ألقى أمير المؤمنين إدلالا منه عليه ولما يعرف من نصيحته له ولآبائه
وأراد أن يعرف المأمون ما يدبر عليه الفضل بن سهل وما يكتم عنه من الأخبار وأنه لا يدعه حتى يرده إلى بغداد ليتوسط سلطانه فعلم الفضل بذلك فقال للمأمون إن هرثمة قد أثقل عليك البلاد والعباد ودس أبا السرايا وهو من جنده ولو أراد لم يفعل ذلك وقد كتبت إليه عدة كتب ليرجع إلى الشام والحجاز فلم يفعل وقد جاء مشاقا يظهر القول الشديد فإن أطلق هذا كان مفسدة لغيره فتغير قلب المأمون
وأبطأ هرثمة إلى ذي القعدة فلما بلغ مرو خشي أن يكتم قدومه عن المأمون فأمر بالطبول فضربت لكي يسمعها المأمون فسمعها فقال ما هذا قالوا هرثمة قد أقبل يرعد ويبرق فظن هرثمة أن قوله المقبول فأمر المأمون بإدخاله فلما دخل عليه قال له المأمون مالأت أهل الكوفة العلويين ووضعت أبا السرايا ولو شئت أن تأخذهم جميعا لفعلت فذهب هرثمة يتكلم ويعتذر فلم يقبل منه فأمر به فديس بطنه وضرب أنفه