يعود أصلها إلى أبي عبد الله امحمد بن علي بن الريسوني العلمي المتوفي بتازروت عام 1018، والذي اشتهر بالجهاد والتصوف والزهد. ومن ثم انغرس في نفسه حب الإطلاع وحب الكتب، فكان يقرأ باستمرار إلى أن تكون لديه رصيد لابأس به من المعرفة جعله أكثر تحمسا في الإنطلاق نحو نهل أكبر عدد ممكن من المعارف والفنون والآداب، ولم يكتف علي بما توفر لديه من كتب ووثائق داخل المنزل، بل عمل أيضا على قصد مجموعة من المكتبات ليستفيد مما تحتوي عليه من كتب ومجلات وجرائد، وفي هذا الصدد يقول الشيخ:

«"استفدت من مكتبة تازروت التي حبس فيها كتب بعض السلاطين العلويين، منهم السلطان محمد بن عبد الله بن اسماعيل، حيث وجدت صحيح البخاري، وقرأت ما تيسر عن المخطوطات التي نهبها - مع الأسف - الريفيون عندما اقتحموا تازروت، واستفدت من مكتبة مولاي أحمد الريسوني (توفي في 3 أبريل 1953) التي تعرضت أيضا للنهب والإختلاس، ورغم ذلك فإنها لا تزال تحتفظ بالكثير من المخطوطات الهامة التي تؤرخ لمرحلة من مراحل التاريخ المغربي و الأندلسي و المشرقي، كما تحتفظ ببعض الآثار الفقهية من الفقه المالكي وكتب طبقات المتصوفين.» "

وإلى جانب المكتبتين المذكورتين فقد استفاد أيضا من المكتبة الراشدية التي قرأ فيها كتاب الحكم لإبن عطاء الله بشرح أحمد بن عجيبة، كما اطلع فيها على كتاب باللغة الإسبانية حول ضريح سيد هدي، وكذا كتاب الإصابة لابن حجر. وهكذا يمكن القول أن المكتبات قد شكلت