قال أحمد بن خالد: لم يعط أحد من أهل العلم بالأندلس منذ دخلت الإسلام من الخطوة، وعظم القدر وجلالة الذكر، ما أعطيه يحيى بن يحيى. وكان الأمير عبد الرحمان بن الحكم يبجله، بتبجيله الأدب، ولا يرجع عن قوله، ويستشيره في جميع أمره، وفيمن يوليه ويعزله، فلذلك كثر القضاة في مدته. وكان يفضل بالعقل على علمه، وألح عليه الأمير عبد الرحمان في ولايته القضاء، فأبى عليه. فوكل عليه من يقعده في الجامع، وقال للناس: هذا قاضيكم. فأبى على الحكم. فقال له يحيى: إن المكان الذي أنا فيه أنفع وخير لكم مما تريدون. إنّا إذا تظلم الناس من قاض أجلستموني، فنظرت لكم في أحكامه. وإن كنت قاضيًا فتظلم مني كما يتظلم من القضاة من تقعدون ينظر في أحكامي؟ فكفوا عنه. قال ابن لبابة: فقيه الأندلس عيسى بن دينار، وعالمها ابن حبيب، وعاقلها يحيى بن يحيى. قال الشيرازي: إليه انتهت الرئاسة بالأندلس في العلم. وكان مالك يعجبه سمت يحيى وعقله. روي عنه إنه كان عنده يومًا جالسًا في جملة أصحاب مالك، إذ قال قائل: قد حضر الفيل.