ومن جميل مآثره -رحمه الله تعالى -المكتبة التي أنشأها بالمدينة عام 1270هـ ، وأصبحت تعرف به ويعرف بها، كانت في مبنى مستقل يقع جنوب المسجد النبوي الشريف، في مواجهة الجهة الجنوبية الشرقية منه، يفصل بينها وبينه شارع، ويتألف المبنى من دور واحد تعلوه قبة جميلة، وفي وسطه حوش فيها نافورة ماء من الرخام، ويلاصق المكتبة من الجنوب سكن صغير للناظر يتألف من دورين وأربعة غرف، والمبنى في غاية الجمال. وقد رتب لها حفظة وخدمة، ووقف بها كتبه التي تتجاوز خمسة آلاف كتاب، فيها من نفائس المطبوعات، ونوادر المخطوطات، بالإضافة إلى حسن العناية والتنظيم، مما جعلها محل ثناء وإعجاب أغلب الزائرين والكاتبين.

فقد ذكرها علي بن موسى بقوله: ( وكتبخانة المرحوم شيخ الإسلام -عارف حكمت بك -التي لا نظير لها في أرض الحجاز، لكثرة ما فيها من الكتب النفيسة والخدمة، والمجلدين الموظفين دائمًا ) .

وقال عنها البتنوني في رحلته: ( وهذه الكتبخانة آية في نظافة مكانها وحسن تنسيقها وترتيب كتبها ... ) .

وأشاد محمد كرد علي بهذه المكتبة واعتبرها من أفضل مكتبات الدولة العثمانية.

وقد مرت هذه المكتبة بأحداث تاريخية كان أبرزها نقلها إلى دمشق خلال الحرب العالمية الأولى، ثم عودتها ثانية إلى المدينة المنورة بأمر الملك فيصل بن الحسين الهاشمي بعد أن دخل سوريا عام 1337هـ، كما تعرضت بعض مخطوطاتها إلى السرقة خلال السنين التي مرت بها.