حدثني إبراهيم بن الحسين، عن أبي داود قال: سمعت أحمد بن حنبل يسأل عن حديث رافع؟ فقال: عن رافع ألوان.
وقال الأثرم: سمعت أبا عبد الله يسأل عن حديث رافع بن خديج) أن النبي صلى الله عليه وسلم نهى عن المزارعة فقال: رافع يروى عنه في هذا ضروب، كأنه يريد أن اختلاف الرواية عنه يوهن ذلك الحديث.