وقد كان المسجد على عهد رسول الله صلى الله عليه وسلم بلا جدار يحيط به ولا باب يغلق عليه، وبقي الحال كذلك مدة خلافة أبي بكر الصديق رضي الله عنه، ولم تكن بالناس حينذاك حاجة إلى توسعته لقلتهم وانشغالهم بالفتوح، فلما استخلف عمر رضي الله عنه وسع المسجد واشترى دورًا فهدمها وأدخلها فيه، ثم أحاط عليه جدارًا قصيرًا دون القامة، وكانت المصابيح توضع عليه. ثم لما استخلف عثمان رضي الله عنه اشترى دورًا أيضًا ووسع بها وبنى المسجد والأروقة حوله، ثم إن عبد الله بن الزبير رضي الله عنه زاد سنة بضع وستين..

للهجرة في المسجد زيادة كثيرة في خلافته، ثم عمره بعد ذلك عبد الملك بن مروان ولم يزد فيه ولكمنا رفع جدار المسجد، وحمل إليه أعمدة الحجارة الرخام، وسقفه بالساج، وزين اسطواناته بالذهب، فجعل على رأس كل واحدة منها خمسين مثقالًا من الذهب. ولما كان ابنه الوليد جعل سنة 91هـ للمسجد بناء محكمًا فوق العقود المزخرفة بالفسيفساء من جهة شرقي الكعبة، ثم إن المنصور العباسي زاد في شقة المقابل لبناء الوليد رواقًا محمولًا على عمد الرخام، كما اشترى المساكن الملاصقة للمسجد من جهتيه، الشمالية والغربية، وهدمها وأدخلها في ساحة المسجد فتضاعفت مساحة المسجد، وقد استغرقت أعماله ثلاث سنين من عام 137هـ إلى 140هـ. ويقال: إن أول مآذن الحرم المكي بنيت في عهده.

ثم زاد في المسجد الحرام الخليفة العباسي المهدي مرتين ( 160و 164هـ) وكانت الكعبة في جانب المسجد فأحب أن تكون في الوسط، فاشترى دورأ لتكون الكعبة متوسطة فيما حولها، وعمر المسجد الحرام، ودعم بناءه بأعمدة الرخام، وأنفق أموالًا عظيمة (قرابة 4.5 مليون دينار ذهبي) وكانت عمارته هذه من المتانة بحيث تحملت عوامل الزمن لمدة ناهزت ثمانية قرون، وقد بلغت مساحة الحرم في عهد المهدي 30240مترًا مربعًا.