معاوية حال البصرة أراد عزل ابن عامر فأرسل إليه يستزيره فجاء إليه فرده علي عمله فلما ودعه قال إني سائلك ثلاثا فقل هن لك فقال هن لك وأنا ابن أم حكيم قال ترد علي عملي ولا تغضب قال قد فعلت قال وتهب لي مالك بعرفة قال قد فعلت قال وتهب لي دورك بمكة قال قد فعلت قال وصلتك رحم فقال ابن عامر يا أمير المؤمنين إني سائلك ثلاثا فقل هن لك فقال هن لك وأنا ابن هند قال ترد علي مالي بعرفة قال قد فعلت قال ولا تحاسب لي عاملا ولا تتبع لي أثرا قال قد فعلت قال وتنكحني ابنتك هندا قال قد فعلت
ويقال إن معاوية قال له اختر إما أن أتبع أثرك وأحاسبك بما صار إليك وأردك وإما أن أعزلك وأسوغك ما أصبت فاختار العزل وأن يسوغه ما أصاب فعزله وولى البصرة الحارث بن عبد الله الأزدي
وفي هذه السنة استلحق معاوية زياد بن سمية فزعموا أن رجلا من عبد القيس كان مع زياد لما وفد علي معاوية فقال لزياد إن لابن عامر عندي يدا فإن أذنت لي أتيته
قال علي أن تحدثني بما يجري بينك وبينه قال نعم فإذن له فأتاه فقال له ابن عامر هية هية وابن سمية يقبح أثاري ويعترض لعمالي لقد هممت أن آتي بقاسمة من قريش يحلفون بالله أن أبا سفيان لم ير سمية
فلما رجع سأله زياد فلم يخبره فألح عليه حتى أخبره فأخبر زياد بذلك معاوية فقال معاوية لحاجبه إذا جاء ابن عامر فاضرب وجه دابته عن أقصي الأبواب ففعل ذلك به فأتي ابن عامر يزيد فشكا ذلك إليه فقال له هل ذكرت زيادا قال نعم فركب معه يزيد حتى أدخله فلما نظر إلي معاوية قام فدخل فقال يزيد لابن عامر اجلس فكم عسي أن يقعد في البيت عن غير مجلسه فلما أطالا خرج معاوية وهو يتمثل
( لنا سباق ولكم سباق ... قد علمت ذلك الرفاق )
ثم قعد فقال يا بن عامر أنت القائل في زياد ما قلت أما والله لقد علمت العرب