قال ابن إسحاق: ثم أقبل رسول الله صلى الله عليه وسلم من تبوك حين نزل بذي أوان وهو بلد بينه وبين المدينة ساعة من نهار، جاءه خبر مسجد الضرار من السماء، وذكر غيره أن بني عمرو بن عوف لما اتخذوا مسجد قباء فبعثوا إلى رسول الله أن يأتيهم فأتاهم فصلى فيه، فحسدتهم إخوتهم بنو غنم وكانوا من منافقي الأنصار فقالوا نبني مسجدا ونرسل إلى رسول الله فيصلي فيه كما صلى في مسجد إخواننا ويصلي فيه أبو عامر الراهب إذا قدم من الشام.
وروى عثمان بن سعيد الدارمي عن ابن عباس في قوله {وَالَّذِينَ اتَّخَذُوا مَسْجِدًا ضِرَارًا} هم ناس من الأنصار ابتنوا مسجدا، فقال لهم أبو عامر: ابنوا مسجدكم واستعدوا بما استطعتم من قوة ومن سلاح، فإني ذاهب إلى قيصر ملك الروم فآتي بجند من الروم فأخرج محمدا وأصحابه. فلما فرغوا من