أبن زبالة عن غير واحد من أهل العلم سماهم في كتابه إدخال الوليد لحجر أزواج النبي صلى الله عليه وسلم وللواقدي عن عطاء الخراساني أدركت حجر أزواج النبيّ صلى الله عليه وسلم فحضرت كتاب الوليد بن عبد الملك يقرأ يأمر بإدخالها فما رأيت يوما كان أكثر باكيا من ذلك اليوم قال عطاء فسمعت سعيد بن المسيب يقول والله لوددت أنهم تركوها على حالها ينشأ ناس من المدينة ويقدم قادم من الآفاق فيرى ما اكتفى به رسول الله صلى الله عليه وسلم في حياته ويكون ذلك مما يزهد الناس في التكاثر والتفاخر فيها وقال أبن زبالة حدثني عبد العزيز أبن محمد عن بعض أهل العلم قال قدم الوليد بن عبد الملك حاجا فبينا هو يخطب الناس على منبر رسول الله صلى الله عليه وسلم إذ حانت منه التفاتة فإذا بحسن بن حسن بن عليّ بن أبي طالب رضي الله عنه في بيت فاطمة في يده مرآة ينظر فيها فلما نزل أرسل إلى عمر بن عبد العزيز فقال لا أرى هذا قد بقي بعد أشتر هذه المواضع وأدخل بيت النبيّ صلى الله عليه وسلم المسجد وأسدده وفي خبر ليحيى إنه لما نزل من خطبته أمر بهدم بيت فاطمة وأن حسن بن حسن وفاطمة بنت الحسين أبوا أن يخرجوا منه فأرسل إليهم الوليد إن لم تخرجوا منه هدمته عليكم فأبوا أن يخرجوا فأمر بهدمه عليهم وهما فيه