فأمسك عبد الله أن ينهاه عن شيء. وغلبت عليه الصوفية. فقالوا له: اكتب إلى أمير المؤمنين تشتكي عمال الخراج. فكتب ودفع المأمون كتابه إلى المعتصم، وكانوا عماله. فأغاظه. ولما قدم مصر عزله وأوقفه للناس، فجعلوا يثنون عليه، ويصيحون. فبعث إلى أخوانه، وذلك بعد موت ابن عبد الحكم في السجن بسبب التهمة معه، فاستشارهم فيما نزل به. فقالوا: كم تحتج، أنت، تحفظ كلما قضيت. إذا ناظرك غدًا ابن أبي دؤاد فقلت له: لم أقض لأحد ولا عليه، إلا وقد كتبت قضيته في الديوان، فانظروها. فإن كان ما اختلفت فيه العلماء، فللقاضي أن يختار. وإن كان إنما خرج عن أقاويل المسلمين، لزمني غرمه. فلما أصبح ووقف على ذلك. قال ابن أبي داؤد لأصحابه: علم هذا الرجل خلاف ما كنا فيه. فأعلموا المعتصم، فقال يفتش الديوان. حنقًا عليه. فأرسل عيسى إلى إخوانه في ذلك، فقالوا له: إذا سألوك أن تحضر الديوان: فقل هو ديوان أمير المؤمنين، فإن كان أمركم بذلك، فهو بين أيديكم، وأما أنا فلا أدخل فيه. فكره المعتصم هذا، وخاف المأمون وأمر بإشخاصه، وذلك سنة أربع عشرة ومائتين.
أنباء عبد الرحمان بن القاسم، كانا فاضلين عابدين ورعين سمعا من أبيهما. وغلب على عبد الصمد علم القرآن. وله في ذلك كتاب.