فسكنته. ولم يزل مع الملك الى أن قدم بغداد، ودفع إليه الملك ابنه، يعلمه مذهب أهل السنة. وألّف له التمهيد. وأخذ عنه إذ ذاك، أبو عبد الرحمن السلمي الصوفي، وجماعة من أهل السنّة، بشيراز. وقرأوا عليه شرح اللمع، قال، وقال الملك لقاضيه: فكرت بأي قتلة أقتله، بجلوسه حيث جلس بغير أمري. وأما الآن، فقد علمت أنه أحق بمكاني مني. وحكى القاضي أبو الوليد الباجي عن أبي ذر الهروي، قال: أول معرفتي بالقاضي أبي بكر، وأخذي عنه، أني كنت ماشيًا مع الشيخ أبي الحسن الدارقطني، في بعض أزقة بغداد، إذ لقي شابًا فسلم عليه، واحتفل به. ورأيت من تعظيم الشيخ أبي الحسن له، وإقباله عليه ودعائه له ونحو هذا، ما عجبت منه. فقلت له: من هذا؟ فقال لي: هذا أبو بكر ابن الطيب، الذي نصر الله به أهل السنّة. وقمع به أهل البدعة. أو كما قال.
وجه عضد الدولة في بعض سفراته، الى ملك الروم الأعظم، القاضي أبا بكر ابن الطيب، واختصه بذلك، ليظهر رفعة الإسلام،