أمير المؤمنين، قال: ويحك! إنك كنت وصفت لي في آخر دخلة من أمر النساء والجواري ما لم يخرق مسامعي قط كلام أحسن منه، فأعده علي، قلت: نعم يا أمير المؤمنين، أعلمتك أن العرب اشتقت اسم الضرة من الضر، وأن أحدهم ما تزوج من النساء أكثر من واحدة إلا كان في جَهْد، فقال: ويحك، لم يكن هذا في الحديث، قلت: بلى والله يا أمير المؤمنين وأخبرتك أن الثلاث من النساء كأثافيِّ القِدْر يغلي عليهن، قال أبو العباس: برئت من قرابتي من رسول الله صلى الله عليه وسلم إن كنت سمعت هذا منك في حديثك، قال: وأخبرتك أن الأربعة من النساء شر مجموع لصاحبهن يشيبنه ويهرمنه ويسقمنه، قال: ويلك! والله ما سمعت هذا الكلام منك ولا من غيرك قبل هذا الوقت، قال خالد: بلى والله، قال: ويلك! وتكذبني؟ قال: وتريد أن تقتلني يا أمير المؤمنين؟ قال: مُرَّ في حديثك، قال: وأخبرتك أن أبكار الجواري رجال، ولكن لا خصي لهنَّ، قال خالد: فسمعت الضحك من وراء الستر، قلت: نعم وأخبرتك أيضًا أن بني مخزوم رَيحانَةُ قريشٍ، وأن عندك ريحانة من الرياحين، وأنت تطمح بعينك إلى حرائر النساء وغيرهن من الإماء، قال خالد: فقيل من وراء الستار: صدقت والله يا عماه وبَررْتَ، بهذا حدثت أمير المؤمنين، ولكنه بدل وغير ونطق عن لسانك، فقال لي أبو العباس: ما لك قاتلك الله وأخزاك وفعل بك وفعل!؟ قال: فتركته وخرجت وقد أيقنت بالحياة، قال خالد: فما شعرت إلا برسل أم سلمة قد صاروا إليَّ ومعهم عشرة آلاف درهم وتختٌ وبرذون وغلام.
ولم يكن أحد من الخلفاء يحب مسامرة الرجال مثل أبي العباس السفاح، وكان كثيرًا ما يقول: إنما العجب ممن يترك أن يزداد علمًا، ويختار أن يزداد جهلًا، فقال له أبو بكر الهذلي: ما تأويل هذا الكلام يا أمير المؤمنين؟ قال: يترك مجالسة مثلك