وكان النفر الذين يؤذونه في بيته أبا لهب، والحكم بن أبي العاص بن أمية، وعقبة بن أبي معيط، وعدي بن حمراء الثقفي، وابن الأصداء الهذلي - وكانوا جيرانه - صلى الله عليه وسلم - فكان أحدهم يطرح عليه رحم الشاة وهو يصلي، وكان يطرحها في برمته إذا نصبت، وكانوا إذا طرحوا عليه ذلك يخرج به على العود فيقف به على بابه ويقول: يا بني عبد مناف! أي جوار هذا؟! ثم يلقيه في الطريق.
وكان أمية بن خلف إذا رآه همزه ولمزه. والهمز: الطعن والشتم علانية، أو كسر العينين والغمز بهما. واللمز: العيب والإغراء.
وكان أخوه أبي بن خلف يتوعد النبي - صلى الله عليه وسلم - يقول: يا محمد إن عندي العود، فرسًا أعلفه كل يوم فرقًا من ذرة أقتلك عليه. حتى قال له رسول الله - صلى الله عليه وسلم: بل أنا أقتلك إن شاء الله - وقد قتله يوم أحد - وجاء أبي بن خلف هذا يومًا بعظم بال رميم، ونفخه في وجه رسول الله - صلى الله عليه وسلم -.
وجلس عقبة بن أبي معيط إلى النبي - صلى الله عليه وسلم - وسمع منه، فبلغ أبيا - وكان صديقه - فعاتبه، وطلب منه أن يتفل في وجه رسول الله - صلى الله عليه وسلم - ففعل.
أما أبو لهب فقد عاداه وآذاه من أول يوم ظهرت فيه الدعوة إلى الله. وكانت في عقد ابنيه عتبة وعتبية ابنتا رسول الله - صلى الله عليه وسلم - رقية وأم كلثوم،