وعندما أفرج الرشيد عن ابن الليث بعد خلافه مع البرامكة واستبعاده لهم، قال ابن الليث لهارون مبينًا حقيقة ما يدين به البرامكة:"... وضعتَ في رجلي الأكبال، وحُلت بيني وبين العيال بلا ذنبٍ أتيتُ، ولا حدثٍ أحدثتُ، سوى قول حاسد، يكيد الإسلام وأهله، ويحب الإلحاد وأهله.."

لم يكن عمل هؤلاء البرامكة في بلاط الخلفاء عشوائيًا، بل كان جهدًا منظمًا مدروسًا استخدموا فيه أساليب عديدة من التضليل والتذلل للخلفاء وغير ذلك.

ولم تكن مجالس البرامكة إلا مجالس الشرك والفساد، كما وصفها الأصمعي، وكان القيم على مجلس البرامكة الزنديق هشام بن الحكم، وهو أول من ادّعى أن النبي ? نصّ على إمامة علي رضي الله عنه، ولم يُسمع ذلك عن أحدٍ قبله.

وتغير هارون الرشيد فجأة تجاه البرامكة، فقتل جعفر بن يحيى وسجن يحيى وابنه الفضل، وصادر أملاكهم وأموالهم، واختلفت التفسيرات في ذلك، فالبعض أرجعها إلى زيادة نفوذهم، ومغالاتهم بالتبذير والمصروفات، وعدم اهتمامهم بالخليفة حيث أصبحوا يدخلون عليه من غير إذن، وهذا ما جعل العامة والخاصة تحقد عليهم، وتتناولهم بالنقد، بل وتتناول الرشيد نفسه الذي فسح لهم المجال،فخاف الرشيد على ملكه من نفوذهم ومن نقمة العامة عليه...وقيل غير ذلك.

وبالرغم من أن عصر الرشيد شهد القضاء على أسرة برمك، إلاّ أن صنائعهم وآثارهم ظلت بعد ذلك، خاصة في عصر المأمون. حيث لما ولد المأمون بن الرشيد، رشّح يحيى البرمكي مجوسيًّا أعلن إسلامه هو سهل الفارسي لخدمة المأمون والإشراف على رعايته وتربيته، وصار لولدي سهل - الفضل والحسن - المكانة الكبيرة، في عهد المأمون، وخاصة الفضل بن سهل الذي لا يمكن عند الحديث عن البرامكة المرور عليه مرور الكرام.