كان بالمدينة قبل مقدم رسول الله صلى الله عليه وسلم إليها رجل من الخزرج يقال له: أبو عامر الراهب، وكان قد تنصر في الجاهلية وقرأ علم أهل الكتاب، وكان فيه عبادة في الجاهلية، وله شرف كبير في الخزرج، فلما قدم رسول الله صلى الله عليه وسلم مهاجرًا إلى المدينة، واجتمع المسلمون عليه، وصار للإسلام كلمة عالية، وأظهرهم الله يوم بدر؛ شرق اللعين أبو عامر بريقه، وبرز بالعداوة، وخرج فارًا إلى كفار مكة يمالئهم على حرب النبي صلى الله عليه وسلم، فاجتمعوا بمن وافقهم من أحياء العرب، وقدموا عام أحد، فكان من أمر المسلمين ما كان مما امتحنهم الله عز وجل به، وكانت العاقبة للمتقين، وتقدم أبو عامر في أول المبارزة إلى قومه من الأنصار فخاطبهم واستمالهم إلى نصره وموافقته، فلما عرفوا كلامه قالوا: لا أنعم الله بك عينًا يا فاسق يا عدو الله، ونالوا منه وسبوه، وكان رسول الله صلى الله عليه وسلم قد دعاه إلى الله قبل فراره، وقرأ عليه من القرآن، فأبى أن يسلم وتمرد، فدعا عليه رسول الله صلى الله عليه وسلم أن يموت بعيدًا طريدًا، فنالته هذه الدعوة، وذلك أنه لما فرغ الناس من أحد، ورأى أمر الرسول صلى الله عليه وسلم في ارتفاع وظهور، ذهب إلى هرقل ملك الروم يستنصره على رسول الله صلى الله عليه وسلم، فوعده ومناه وأقام عنده، وكتب إلى جماعة من قومه من الأنصار من أهل النفاق والريب يعدهم ويمنيهم أنه سيقدم بجيش يقاتل به رسول الله صلى الله عليه وسلم ويغلبه ويرده عما هو فيه، وكان أبو عامر أرسل لهم: أعدوا لي مكانًا إذا أتيتكم؛ لنجتمع فيه، ويكون مأوىً وملجأً لنا، بحيث منه تنطلق المحاربة للرسول عليه الصلاة والسلام، وليكون هذا المكان معقلًا ومرصدًا له إذا قدم عليهم بعد ذلك، فشرعوا في بناء مسجد مجاور لمسجد قباء، فبنوه وأحكموه وفرغوا منه ورسول الله صلى الله عليه وسلم يتجهز إلى تبوك، فأتوه فقالوا: (يا رسول الله! إنا قد بنينا مسجدًا لذي العلة والحاجة والليلة المطيرة والليلة الشاتية، وإنا نحب أن تأتينا فتصلي لنا فيه، فقال عليه الصلاة والسلام: إني على جناح سفر وحال شغل، ولو قدمنا إن شاء الله تعالى أتيناكم فصلينا لكم فيه) فلما نزل بذي أوان، موضع على ساعة من المدينة، أتاه خبر المسجد عن طريق الوحي، وأنه إنما بني للأغراض التي ذكرها الله في قوله عز وجل: (( وَالَّذِينَ اتَّخَذُوا مَسْجِدًا ضِرَارًا وَكُفْرًا وَتَفْرِيقًا بَيْنَ الْمُؤْمِنِينَ وَإِرْصَادًا لِمَنْ حَارَبَ اللَّهَ وَرَسُولَهُ مِنْ قَبْلُ ) )فدعا صلى الله عليه وسلم مالك بن الدخشم، ومعن بن عدي، أو أخاه عاصمًا، فقال: (انطلقا إلى هذا المسجد الظالم أهله فاهدماه وحرقاه، فخرجا سريعين حتى أتيا بني سالم بن عوف، وهم رهط مالك بن الدخشم، فقال مالك لـ معن: أنظرني حتى أخرج إليك بنار من أهلي، فدخل أهله فأخذ سعفًا من النخل فأشعل فيه نارًا ثم خرجا يشتدان، حتى دخلا المسجد وفيه أهله، فحرقاه وهدماه، وتفرقوا عنه) ونزل فيهم ما نزل.
وروي أن بني عمرو بن عوف الذين بنوا مسجد قباء أتوا عمر بن الخطاب رضي الله عنه في خلافته، فسألوه أن يأذن لـ مجمع بن جارية أن يؤمهم في مسجدهم، فقال: لا ونعمة عين، أليس هو إمام مسجد الضرار؟ فقال مجمع: يا أمير المؤمنين! لا تعجل عليّ، فوالله! لقد صليت فيه وأنا لا أعلم ما أضمروا عليه، ولو علمت ما صليت معهم فيه، وكنت غلامًا قارئًا للقرآن، وكانوا شيوخًا لا يقرءون، فصليت بهم ولا أحسب إلا أنهم يتقربون إلى الله، ولم أعلم ما في نفوسهم، فعذره عمر، فأجازه بالصلاة في مسجد قباء.