كان الجدار الشرقي للجامع أهم النقاط التي يمكن عن طريقها مراقبة حركات أساطيل الأعداء، ويمكن الافتراض أن حسانا بن النعمان نفسه هو الذي بنى برجي المراقبة الموجودين حالياً بكل من الزاويتين: الشمالية الشرقية والجنوبية الشرقية. كما يذكّر قسم من الجدار الشرقي بجدران الحصون والأربطة بصفة عامة؛ فحجارته السميكة تؤكد هذا الدور الدفاعي، وربما يمكن تفسير استغناء الجامع عن المئذنة حتى نهاية العهد الحفصي بوجود هذين البرجين اللذين كان يتم الأذان انطلاقاً منهما. وهكذا، فإنه يمكن اعتبار الزيتونة معلماً محصّناً