كان ظهور عبدالله بن سبأ الأول في موطنه الأصلي باليمن وكان لليهود وجود بها من قديم الأزل، وقد هاجر إليها جمع من القبائل اليهودية بعد غزو طيطس الروماني لأرض فلسطين عام 79 م وتفرق شمل اليهود بقبائلهم الاثنتي عشرة في بقاع الأرض ومنها اليمن السعيد، وقد حكم اليهود فترة من الزمن بلاد اليمن.
ثم في عهد الحكم المسيحي لليمن في زمن الأحباش الذين جاءوا من الحبشة لنصرة إخوانهم الذين تم تعذيبهم وقتلهم على يد ملك اليمن اليهودي من التابعة انتهت السيطرة اليهودية على اليمن ولكن عاد اليهود من اختراق الديانة الأخرى المنافسة لهم فقد دخل الكثير منهم في المسيحية وتأثرت المسيحية بهم وظل بعضهم على ديانته مثل عبد الله بن سبأ وآله.
كان الظهور الأول لابن سبأ حين أعلن دخوله في الإسلام وتركه للدين اليهودي الذي هو دين آبائه وهذا ما ذكره الطبري في تاريخه وابن الأثير في كتابه الكامل في التاريخ وابن عساكر في تاريخه وابن كثير في البداية والنهاية وغيرهم.
ولا يعلم على وجه التحديد متى أعلن ذلك اليهودي إسلامه وفي أي مكان والغالب أنه أعلن إسلامه في زمن عثمان بن عفان رضي الله عنه، فقد ذكر ابن كثير في جملة أحداث عام 34 ه أن عبد الله بن سبأ كان سبب تألب الأحزاب على عثمان، ثم ذكره في أحداث سنة 305 ه مع المعارضين والمتحزبين ضد الخليفة عثمان الذين قدموا من مصر يدعون إلى خلع عشان. (1)
وأما مکان ظهوره فقد ذكره الطبري وابن الأثير أنه ظهر عام سنة 34 في الكوفة حين ذكرا أن يزيد بن قيس دخل مسجد الكوفة يريد خلع سعيد بن العاص رضي الله عنه عامل عثمان رضي الله عنه على الكوفة وشاركه الذين كان ابن السوداء بکاتبهم، وهذا
أ- البداية والنهاية، لابن كثير.