ولد شهيدنا أبو تراب في قرية"الجلاد"من محافظة البيضاء في بلاد اليمن الشمالي، وقد كان من أسرة متواضعة ومعروفة بالاستقامة, متوسط الثقافة، وقضى بعض حياته في مدينة الحديدة، عمل مؤذنا في مسجد الاسودي الموجود فيها، وقد كان صاحب صوت جميل كصوت الشيخ عبد الباسط أو الشيخ الطبلاوي، وقد كان من يعرفه من الناس في السعودية يطلبون منه أن يسجل لهم المصحف كاملا بصوته، لكنه رفض وهرب مخافة أن يدخل الإعجاب والغرور الى نفسه!!. كان يهرب من التعرض للفتن خوفا من دخول الإعجاب والغرور!! ولكن الشهيد رحمه الله ماذا سيقول لو رأى بعض قراء الإرجاء النشاز أولئك الذين يقرأون القرآن وتصور قراءتهم على طريقة التمثيل"الفني"لأفلام أهل الضلال، ولا أدري أي خشوع يبغون؟ أهو خشوع الصالحين فليست هذه طريقتهم ولا سماتهم أم خشوع التخشع والرياء وكلاهما خطيئة في حقوق أصحابها. وبورك في أولئك القراء أصحاب التقوى واليقين الذين يشعر المرء بالخشوع وراءهم.

قدم الشهيد أحمد علوي الى أرض الجهاد من السعودية، بعد أن وصلها من اليمن، وقد تعاهد مع اثنين من اخوته للسير معا الى أرض الجهاد، وهما أبي الفضل وأبي زكريا، وأثناء فترة وجوده في السعودية كان يعتكف كثيرا وخاصة في رمضان. في تلك الفترة جاءه والده ليثنيه عن عزمه على الجهاد ويعيده معه الى اليمن، وأخذ منه جواز سفره، فقال له ابو تراب:"سأذهب الى باكستان-الجهاد- ولو مشيا على الإقدام", بعد أخذ ورد يسر الله له المجيء لباكستان، فتوجه سريعا لمعسكر التدريب ثم التحق بدورة الدعاة وتخرج منها، ثم ذهب الى جبهة يعقوبي في منطقة خوست، وكان مشتاقا الى الجهاد، ذهب الى مركز المجاهدين اليمنيين [الشهيد عبد الله عزام] ،في ليجة حيث يرابط هناك مجموعة من اليمنيين ثم تنقل بين عدة مراكز وكان آخرها مركز أبي عمير.

كان رحمه الله صبورا شجاعا عاملا على كسر حاجز الخوف عند اخوته، كان بعض من جاء جديدا لا يستطيع أن يرمي على السلاح رماية حية، وتظهر عليه علامات الخوف عند الضرب على السلاح، فقام بتعليمهم، وأصبحوا يواجهون العدو بلا خوف ولا وجل. أصيب في إحدى العمليات فعاد الى بيشاور، لكنه لم يلبث إلا