زكريا بن يحيى الساجي قال حدثنا الحسين بن يحيى الأزدي قال سمعت علي بن المديني يقول في دار عبد الرحمن بن عمر بن جبلة: وشباب بن خياط شجر يحمل الحديث"."

ويشرح لنا الحافظ أبوالوليد الباجي المتوفى (474هـ) أصل المشكلة بتفصيل أكثر في كتابه (التعديل والتجريح) :"خليفة بن خياط يقال له شباب أبو عمرو العصفري البصري أخرج البخاري في الجنائز والدعوات عنه عن معتمر قال عبد الرحمن بن أبي حاتم انتهى أبوزرعة الرازي إلى أحاديث كان أخرجها في فوائده عن شباب العصفري فلم يقرأها علينا فضربنا عليها وتركت الرواية عنه قال أبوحاتم الرازي لا أحدث عن شباب هذا هو غير قوي. كتبت من مسنده أحاديث ثلاثة عن أبي الوليد فأتيت أبا الوليد فسألته عنها فأنكرها. فقلت كتبتها من كتاب شباب العصفري فعرفه وسكن غضبه وهذا على نحو ماقالوا وإنما يقول البخاري عنه في أكثر ما خرج وقال خليفة بن خياط وقد قال حدثني خليفة بن خياط وقرنه بان أبي الأسود جميعاً عن معتمر في باب مرجع النبي صلى الله عليه وسلم من الأحزاب ومخرجه إلى بني قريظة وقال في تفسيره لسورة البقرة وقال لي خليفة بن خياط عن يزيد بن زريع وقرنه بمسلم عن هشام وقال في الردة وحدثني خليفة بن خياط وقرنه بمحمد بن أبي بكر على هذا رأيت أمره إذا أفرده قال وقال لي خليفة وإذا قرنه قال وحدثني خليفة".

هكذا استبان لنا لماذا غمز بعض العلماء ابن خياط؟! فالحافظ أبو الوليد الباجي ذكر قول أبي حاتم الرازي: (لا أحدث عن شباب هذا هو غير قوي كتبت من مسنده أحاديث ثلاثة ... إلخ) لكن لما عرضها على الحافظ أبي الوليد أنكرها!!

لكن أبا حاتم تدارك الأمر وقال: كتبتها من كتاب شباب العصفري .. بمعنى أنه إذا صرح خليفة بن خياط فهو ثبت ثقة أما إذا لم يصرح، وقال الراوي: قال خليفة بن خياط .. فهنا لايقبلون روايته إذا انفرد ولم يصرح بالتحديث ..

وحاول الحافظ الباجي أن يبرر لماذا روى عنه البخاري في صحيحه؟! بمعنى أوضح إذا كان خليفة بن خياط ضعيفاً فلماذا روى البخاري عنه في صحيحه؟ بل إن خليفة بن خياط من شيوخ البخاري .. وقد قيل إن البخاري روى عنه مقروناً بغيره ...

ولنترك الحافظ شمس الدين الذهبي ليتكلم عن الخلفية العلمية لابن خياط ولنعرف رأيه في هذه القضية من خلال ترجمته في كتابه الماتع (سير أعلام النبلاء) :"ابن خليفة بن خياط الإمام الحافظ العلامة الإخباري، أبوعمرو العصفري البصري، ويُلقب بشَبَاب، صاحب (التاريخ) ، وكتاب (الطبقات) ، وغير ذلك. سمع أباه، ويزيدَ بنَ زريع، وزيادَ بنَ عبدالله"