لكل أمة مجوس، وإن هؤلاء القدرسة مجوس أمتي؛ فإن مرضوا فلا تعودوهم، وإن ماتوا فلا تشهدوهم، ولاتصلوا عليهم"قال الخطيب: وكان أحد أئمة المسلمين، ومن الحفاظ لشرائع الدين مع صدق، وتورع، وضبط، وتيقظ، سافر الكثير، وكتب بالعراق، والحجاز، والشام، ومصر. وورد بغداد قديمًا."
مات في حدود سنة عشرين وثلاثمائة.
وقال غير الخطيب: سنة اثنتين وعشرين وثلاثمائة - وقيل ثلاث وعشرين - وكان ابن ثلاث وثمانين سنة.
قال الأستاذ أبو الوليد: لم يكن في عصرنا من الفقهاء أحد أحفظ للفقهيات وأقاويل الصحابة بخراسان أبي نعيم الجرجاني.
وقال الحسين بن علي الحافظ:
كان أبو نعيم الجرجاني أحد الأئمة، مارأيت بخراسان بعد أبي بكر محمد بن إسحاق - يعني ابن خزيمة - مثله، أو أفضل منه. كان يحفظ الموقوفات والمراسيل كما نحفظ نحن المسانيد.
من أهل دمشق. ولي الحجاز واليمن لمروان بن محمد ودخل أبو حمزة المدينة فوجه مروان بن محمد بن عبد الملك بن محمد بن عطية، فقتل أبا حمزة، وضم إليه مكة.
قال الزبير بن عبد الرحمن بن أبي يسار الشيبي خرجت مع ابن عطية ونحن في اثني عشر رجلًا بعهد مروان على الحج، ومعه أربعون ألف دينار في أخرجة متفرقة، حتى ينزل الجوف يريد الحج، قد خلف عسكره