فقعد دونك أكان يحسن منك أن تقعد أعلى منه، قال: لا بل كنت أقوم وأجلسه مكاني، فقال هكذا ينبغي أن تكون الساعة، فطاب قلب الشيخ أبي بكر، وأذن لهم في دفنه، فدفنوه إلى جانبه بباب حرب.d ويروى عن الخطيب أنه قال: سألتْ الله ثلاثة أشياء: أن أُملي التاريخ بجامع المنصور، وأن أُدفن إلى جانب بشر الحافي، والجنة. فاستجاب الله دعاءه في الأولين فأملي بجامع المنصور بأمر الخليفة، ودفن إلى جانب بشر الحافي، والله أكرم من أن يخيّب رجاءه في الثالث، قال أبو القاسم مكي بن عبد السلام المقدسي: كنت نائمًا في منزل الزعفراني ببغداد ليلة الأحد ثاني عشر من شهر ربيع الأول سنة ثلاث وستين وأربعمائة كأنّا اجتمعنا عند الشيخ الخطيب أبي بكر في منزله لقراءة التاريخ على العادة، وكان الخطيب جالس وعن يمينه الفقيه أبو الفتح نصر بن إبراهيم بن الصبّاغ، وعن يمين الفقيه رجلٌ جالس لم أعرفه، فسألت عنه فقيل لي هذا رسول الله صلى الله عليه وآله وسلم جاء يستمع التاريخ، فقلت في نفسي: هذا يدل على فضل الشيخ أبي بكر الخطيب، وفضل كتابه إذ جاء النبي صلى الله عليه وآله وسلم إلى منزله لسماع التاريخ، ويدل أيضًا على بطلان ما يُذكر أن فيه تحاملًا وتعصبًا، يحكى أن اليهود أظهروا ببغداد كتابًا من النبي صلى الله عليه وآله وسلم فيه إسقاط الجزية عن يهود خيبر وجاز ذلك على غالب الفقهاء والمحدثين، حتى كاد الخليفة أن يُمضيه، فعُرِض على الخطيب فحيث أن وقع نظره عليه قال: هذا مزَوّر على النبي صلى الله عليه وآله وسلم فإن فيه شهادة سعد بن معاذ، وسعد بن معاذ مات عام الخندق، وقبل فتح خيبر بزمن، وفيه شهادة معاوية ولم يسلم معاوية إلاّ يوم الفتح بعد خيبر بمدّة، فلم يقبل ذلك منهم.