قال عبد الله بن طاهر: كان للناس أربعة: ابن عباس في زمانه، والشعبي في زمانه، والقاسم بن معن في زمانه، وأبو عبيد القاسم بن سلام في زمانه.
رثى عبد الله بن طاهر أبا عبيد، فقال:"من البسيط"
يا طالب العلم قد أودى بن سلام ... قد كان فارس علم غير محجام
أودى الذي كان فينا ربع أربعة ... لم يلف مثلهم إسناد أحكام
خير البرية عبد الله عالمها ... وعامر ولنعم التلو يا عام
هما أنافا بعلم في زمانهما ... والقاسمان ابن معن وابن سلام
قال هلال بن العلاء الرقي: من الله على هذه الأمة بأربعة لولاهم لهلك الناس: من الله عليهم بالشافعي حين بين المجمل من المفسر، والخاص من العام، والنسخ من المنسوخ، ولولاه لهلك الناس، ومن الله عليهم بأحمد بن حنبل حتى صبر في المحنة والضرب، فنظر غيره إليه فصبر، ولم يقولوا بخلق القرآن، ولولاه لهلك الناس، ومن الله عليهم بيحيى بن معين حتى بين الضعفاء من الثقات، ولولاه لهلك الناس، ومن الله عليهم بأبي عبيد حتى فسر غريب حديث رسول الله صَلَّى اللهُ عَلَيْهِ وَسَلَّمَ، ولولاه لهلك الناس.
قال إسحاق بن إبراهيم الحنظلي: أبو عبيد أوسعنا علمًا وأكثرنا أدبًا، وأجمعنا جمعًا، إنا نحتاج إلى أبي عبيد وأبو عبيد لا يحتاج إلينا.