ومن الملاحظ أن اليمن انفصل عن الخلافة العباسية في وقت مبكر جدًا، وتأسست في اليمن إمارات إسلامية مستقلة، مما حدا بالخليفة العباسي المأمون بن هارون الرشيد إلى إرسال حملة عسكرية إلى اليمن تمكنت من إعادته إلى الطاعة العباسية. وأرسل عامله محمد بن عبدالله بن زياد واليًا على اليمن، وبدأ الوالي يستقل باليمن تدريجيًا، ويكتفي بالولاء الاسمي للخلافة العباسية في بغداد. وشملت إمارة ابن زياد مناطق الشحر وحضرموت وتهامة، وأسس دولته سنة 205هـ ، 821م، كما أسس مدينة زبيد، واتخذها عاصمة لدولته.
ظهر المذهب الزيدي في اليمن على يد يحيى بن الحسين بن القاسم الملقب بالرسي، (والرسي جبل قرب المدينة المنورة) الذي جاء إلى اليمن، واستقر في صعدة، وأخذت له البيعة، ولقب بالإمام الهادي إلى الحق. والمذهب الزيدي هو مذهب الإمام زيد بن علي زين العابدين بن الحسين بن علي بن أبي طالب، والزيدية فرقة شيعية كبيرة، وأتباعها في اليمن كثيرون. وكان يحيى بن الحسين بن القاسم أول إمام زيدي حكم اليمن.
قامت دولة أخرى في اليمن هي دولة بني يَعْفُر حكمت من عام 252هـ، 866م إلى عام 394هـ، 1003م، وقد نشأت أثناء فترة حكم الدولة العباسية. وظهرت تلك الدولة في شبَام ثم في صنعاء في عهد أسعد ابن أبي يعفر الحوالي، ثم امتدت إلى حاشد في الشمال، وإلى مخلاف جعفر والجند والمعافر في الجنوب. ويعدّ حكم السلطان أسعد بن أبي يعفر من أطول فترات حكم سلاطين بني يعفر.
تأسَّست دولة بني نجاح المملوكية في اليمن، وحكمت تلك الدولة فترة امتدت من عام 410هـ، 1019م، أي من بعد نهاية حكم بني يعفر حتى عام 552هـ، 1158م. وتنسب الدولة الجديدة هذه إلى نجاح مولى بني زياد الذي تسلم السيادة في منطقة تهامة في اليمن، وأعلن نفسه سلطانًا على المنطقة، وقدم ولاءه للدولة العباسية التي أجازت حكمه، ولقبته بالمؤيد نصير الدين. والمعروف أن بني نجاح من أصل حبشي.