قال مطرف بن قيس: سمعت منه بمكة وكان ألزمها، وكان عظيم القدر وله رواية عن مالك. وقال لي محمد بن عبد الحكم: إن لقيته فاحمل عنه. وقال القاضي وكيع: كان هارون الزهري من الفقهاء لمذهب أهل المدينة من أصحاب مالك. ومن أهل الأدب الواسع.
قال هو والجيزي: كان في قضائه محمودًا عفيفًا عدلًا ذا قدر.
قال المصعب الزبيري: ولاه المأمون قضاء المصيصة ثم صرخد، ثم قضاه الرقة، ثم صرفه. ثم قضاء عسكر المهدي ببغداد. ثم صرفه. ثم قضاء مصر، فلم يزل على قضائها إلى أن صرف آخر أيام المعتصم. قال الحميدي في قضاة مصر. قال: بقيت مصر بعد ابن المنكدر دون قاضٍ، إلى أن ولًّى المأمون قضاءها هارون بن عبد الله الزهري. قال هارون: دعاني المأمون فقال: يا هارون قد وليتك بلدًا يقولون بقولك، مصر. قال أبو عمر الكندي في كتابه في قضاة مصر: قدم هارون الزهري مصر، في رمضان سنة سبع عشرة ومائتين من قبل المأمون، وجلس في المسجد الجامع ولم يُبقٍ شيئًا في أمور القضاء إلا شاهده، بنفسه. وحضره مع أهل مصر.
وتقصّى الأحباس وأموال الأيتام، ووقف على وجوهها بنفسه، وحاسب عليه، وضرب رجلًا على حال رآه منه في مال يتيم، كان ينظر له، وأطافه. وأورد أموال الغيَّب ومن لا وارث له بيت المال، وسجل بجميع ذلك