أما قضية جانب بيته وأسرته: فكان الشيخ أيضًا حريصًا على بيته وأسرته لم يشغله العلم والدعوة عن بيته وأسرته، فقد كان حريصًا على حسن العشرة، وكان حريصًا على الأدب ورعاية شئون زوجه، وهذا يبين موقفه من المرأة، فقد كان حريصًا على إكرامها وتقديرها والسعي للعناية بها.
خلَّف الشيخ من الأولاد خمسة ذكور، وثلاثًا من البنات، وكلهم -إن شاء الله- من أهل الخير والفضل وسائرون على منهجه رحمه الله، ثلاثة من أبنائه توفوا في حياته، واثنان موجودان، أحدهما في جدة، والآخر في الرياض، وهم -إن شاء الله- سائرون على منهجه، وحريصون -جزاهم الله خيرًا وهذه أقولها لهم ونشكرهم- على نشر تراث الشيخ رحمه الله، ومستعدون لأي خدمةٍ في هذا المجال، عن تراث والدهم ووالد الجميع شيخنا العلامة الشيخ عبد الرزاق عفيفي رحمه الله.