رجل من آل عمرو بن سعيد بن العاص على خالد في مجلسه فأغلظ له في القول فكتب إلى هشام يشكو خالدا فكتب هشام إلى خالد يذمه ويلومه ويوبخه ويأمره أن يمشي راجلا إلى بابه ويترضاه فقد جعل عزله وولايته إليه وكان يذكر هشاما فيقول ابن الحمقى وكان خالد يخطب فيقول زعمتم أني اغلي أسعاركم فعلى من يغليها لعنة الله
وكان هشام كتب إليه أن لا تبيعن من الغلات شيئا حتى تباع غلات أمير المؤمنين فبلغت كيلجتها دراهم وكان يقول لابنه كيف أنت إذا احتاج إليك أمير المؤمنين فبلغ هذا جميعه أمير المؤمنين هشاما فتنكر له وبلغه أيضا أنه يستقل ولاية العراق فكتب إليه هشام يا ابن أم خالد بلغني أنك تقول ما ولاية العراق لي بشرف يا ابن اللخناء كيف لا تكون امرة العراق لك شرفا فأين أنت من بجيلة القليلة الذليلة أما والله اني لأظن أن أول ما يأتيك صغير من قريش يشد يديك إلى عنقك ولم يزل يبلغه عنه ما يكره فعزم على عزله فكتم ذلك وكتب إلى يوسف بن عمر وهو باليمن يأمره أن يقدم في ثلاثين من أصحابه إلى العراق فقد ولاه ذلك فسار يوسف إلى الكوفة فعرس قريبا منها وقد ختن طارق خليفة خالد بالكوفة ولده فأهدى إليه ألف وصيف ووصيفة سوى الأموال والثياب فمر بيوسف بعض أهل العراق فسألوه ما أنتم وأين تريدون قالوا بعض المواضع فأتوا طارقا فأخبروه خبرهم وأمروه بقتلهم وقالوا إنهم خوارج فسار يوسف إلى دور ثقيف فقيل لهم ما أنتم فكتموا حالهم وأمر يوسف فجمع إليه من هناك من مضر فلما اجتمعوا دخل المسجد مع الفجر وأمر المؤذن وأقام الصلاة فصلى وأرسل إلى طارق وخالد فأخذهما وان القدور لتغلي وقيل لما أراد هشام أن يولي يوسف بن عمر العراق كتم ذلك فقدم جندب مولى يوسف بكتاب يوسف إلى هاشم فقرأه ثم قال لسالم بن عنبسة وهو على الديوان أن أجبه عن لسانك وأمني بالكتاب وكتب هشام بخطه كتابا صغيرا إلى يوسف يأمره بالمسير إلى العراق فكتب سالم الكتاب وأتى به هشاما فجعل كتابه في وسطه وختمه ثم دعا رسول يوسف فأمر به فضرب ومزقت ثيابه ودفع الكتاب إليه فسار فارتاب بشير بن أبي طلحة وكان خليفة سالم فقال هذه حيلة وقد ولي يوسف العراق فكتب إلى