يقول: سمعت أبا بكر بن أبي عمروٍ الحافظ يقول: كان سبب مفارقة أبي عبد الله محمد بن إسماعيل البخاري البلد -يعني بخارى- أن خالد بن أحمد الذهلي الأمير خليفة الظاهرية ببخارى سأل أن يحضر منزله، فيقرأ (( الجامع ) )و (( التاريخ ) )على أولاده، فامتنع أبو عبد الله عن الحضور عنده، فراسله أن يعقد مجلسًا لأولاده لا يحضره غيرهم، فامتنع عن ذلك أيضًا. وقال: لا يسعني أن أخص بالسماع قومًا دون قوم؛ فاستعان خالد بن أحمد بحريث بن أبي الورقاء، وغيره من أهل العلم ببخارى عليه، حتى تكلموا في مذهبه، ونفاه عن البلد، ودعا عليهم أبو عبد الله محمد بن إسماعيل فقال: اللهم أرهم ما قصدوني به في أنفسهم وأولادهم وأهليهم. فأما خالد فلم يأتي عليه إلا أقل من شهر حتى ورد أمر الظاهرية أن ينادى عليه؛ فنودي عليه وهو على أتانٍ وأشخص على أكاف ثم صار عاقبة أمره إلى ما اشتهر وشاع. وأما حريث بن أبي الورقاء فإنه ابتلي بأهله، فرأى فيها ما يجل عن الوصف. وأما فلان أحد القوم -وسماه- فإنه ابتلي بأولاده وأراه الله فيهم البلايا.
وقال أبو جعفر محمد بن أبي حاتم سمعت يحيى بن جعفر يقول: لو قدرت أن أزيد في عمر محمد بن إسماعيل لفعلت فإني موتي يكون موت رجلٍ واحد، وموت محمد بن إسماعيل ذهاب العلم. وبلغنا أن أهل سمرقند كتبوا إلى أبي عبد الله البخاري ليسير إليهم ويقرأوا عليه فسار متوجهًا