واعترض بعضهم على ذلك، فأمر بتثمين دورهم وهدمها، وعنفهم على ذلك قائلًا لهم: أنتم نزلتم في ساحة الكعبة، وأنتم لا تملكونها، وما نزلت عليكم في سوحكم وفنائكم.

وهكذا فعل عثمان بن عفان رضي الله عنه عند زيارته لمكة معتمرًا فوجد رضي الله عنه ازدحام الدور حول المسجد، فأمر بتلك الدور وقيّمت أثمانها فأمر بهدمها وتوسعة المسجد.

وقد شهد المسجد اهتمامًا بالغًا في العصور الإسلامية، ولكنه بلغ الذروة في العهد العباسي، ففي عام 160 هـ عندما قدم الخليفة العباسي المهدي إلى مكة بغرض تأدية فريضة الحج، عقد العزم على عمارة المسجد الحرام وتوسعته، غير أنه واجه مشكلة الدور المحيطة بالمسجد والموقوفة على أصحابها، والتي كان لابد من إزالتها لتتحقق بذلك الزيادة التي أرادها له.

وتولى هذا الأمر واليه على مكة محمد بن عبد الرحمن الأوقص، فشرع في شراء جميع الدور الخاصة والموقوفة المجاورة للمسجد الحرام، فما كان منها وقفًا عزل ثمنه واشترى به دورًا أخرى بحسب شروط وقفيتها.

وبدأ العمال في الإزالة وتم توسعة المسجد حسب ما خطط له، وقد عمر على أحسن ما تكون العمارة، وبقيت هذه الزيادة أعظم توسعة حتى العصور الحديثة.

واستمر الأمر كذلك حيث لم يشهد المسجد الحرام عمارة وتوسعة