وعلى الفور بدأ الكونجرس بناء مكتبة جديدة. وفي عام 1815م اشترى الكونجرس مكتبة توماس جيفرسون الخاصة التي ضمت حوالي 6,000 كتاب. وتابعت المكتبة نموَّها على الرغم من حرائق عدة ـ أكثرها خطرًا كان عام 1851م ـ ألحق الأضرار بالمجموعات. وفي عام 1897م انتقلت المكتبة إلى مبنى جديد من الحجر الرملي الرمادي اللون، وذلك إلى الشرق من الكابيتول، لأنها كانت من الاتساع بحيث لا يمكن الاحتفاظ بها في الكابيتول. وفي عام 1938م بُنِي ملحق من مرمر ولاية جورجيا الأبيض على موقع ملاصق. وفي عام 1980م بُنِيَت عمارة جيمس ماديسون التذكارية، وهي أكبر بناء مكتبي في العالم. وفي هذا الوقت أعيدت تسمية مبنى عام 1897م باسم توماس جيفرسون، وأعيدت تسمية ملحق عام 1938م باسم مبنى جون آدمز. وبلغت مساحة مباني المكتبة الثلاثة مجتمعة 29 هكتارًا.
انظر أيضًا: مكتبة الكونجرس، تصنيف.