ابن عرعرة قال: كان طاهر بن عبد الله ببغداد، فطمع في أن يسمع من أبي عبيد وطمع في أن يأتيه في منزله. فلم يفعل أبو عبيد حتى كان هو يأتيه. فقدم علي بن المديني وعياش العنبري فأرادا أن يسمعا غريب الحديث فكان يحمل كل يوم كتابه ويأتيهما في منزلهما فيحدثهما به.
أبو بكر بن الأنبازي قال: كان أبو عبيد يقسم الليل أثلاثًا: فيصلي ثلثه، وينام ثلثه، ويضع الكتب ثلثه.
أبو حاتم قال: قال أبو عبيد القاسم بن سلام: مثل الألفاظ الشريفة والمعاني الظريفة مثل القلائد اللائحة في الترائب الواضحة.
سمعت إسحاق بن إبراهيم الحظلي يقول: أبو عبيد أوسعنا علمًا وأكثرنا أدبًا وأجمعنا جمعًا وإنا نحتاج إلى أبي عبيد، وأبو عبيد لا يحتاج إلينا.
ثعلب قال: لو كان أبو عبيد في بني إسرائيل لكان عجبًا.
أحمد بن كامل القاضي قال: كان أبو عبيد القاسم بن سلام فاضلًا في دينه وعلمه ربانيًا متفننًا في أصناف علوم الإسلام، من القرآن والفقه والعربية والأخبار، حسن الرواية صحيح النقل لا أعلم أحدًا من الناس طعن عليه في شيء من أمره ودينه.
عبد الله بن طاهر قال: كان الناس أربعة: ابن عباس في زمانه، والشعبي في زمانه، والقاسم بن معن في زمانه وأبو عبيد القاسم بن سلام في زمانه.
إبراهيم الحربي قال: أدركت ثلاثة لن يرى مثلهم أبدًا تعجز النساء أن يلدن مثلهم، رأيت أبا عبيد القاسم بن سلام، ما مثلته إلا بجبل نفخت فيه روح، ورأيت بشر بن الحارث، ما شبهته إلا برجل عجن من قرنه إلى قدمه عقلًا، ورأيت أحمد بن حنبل فرأيت كأن الله جمع له علم الأولين والآخرين من كل صنف، يقول ما شاء ويمسك عما شاء.
أقام أبو عبيد ببغداد مدة طويلة ثم ولي القضاء بطرسوس ثم خرج إلى مكة في سنة تسع عشرة ومائتين وأقام بها، وتوفي بها في سنة ثلاث وعشرين وقيل أربع وعشرين ومائتين وهو ابن سبع وستين سنة.