Le Yémen est composé d’une mosaïque de tribus en querelles permanentes et récalcitrantes à toute soumission extérieure. Les gouverneurs abbassides s’émancipèrent du pouvoir de Bagdad favorisant l’émergence de dynasties locales.
Une soumission difficile aux Omeyyades
Au début de la dynastie omeyyade (662-750), les premiers califes canalisèrent les mœurs belliqueuses des tribus yéménites en leur faisant prendre une part active à la conquête musulmane. Cette migration massive affaiblissait le pays incapable alors de revendiquer quelque indépendance vis-à-vis du califat. Néanmoins, en 748, le Hadramawt puis le Yémen tout entier se révoltèrent contre la tutelle de Damas. La révolte fut sévèrement réprimée par le dernier calife omeyyade Marwân II.
La période abbasside : une multiplication d’États
L’établissement du califat abbasside à Bagdad (750-1258) recentra l’échiquier politico-commercial du monde musulman sur les provinces orientales. De 765 à 800, dix-huit gouverneurs se succédèrent à Sanaa. Le calife al-Ma’mûn désigna Ibn Ziyâd en 819 pour rétablir l’ordre dans la plaine côtière. Ce dernier s'émancipa, devenant le premier émir de la dynastie ziyâdite (818-1018), et s'établit dans la ville de Zabîd, sa capitale. En 847, le pouvoir abbasside de Bagdad perdit définitivement le contrôle du Yémen avec l’avènement d’une autre dynastie sur les hauts plateaux, celle des Yuʿfirides (847-997).
À partir du Xe siècle, de nombreuses dynasties luttèrent pour le pouvoir. Un conflit opposa les Najâhides (1016–1150), dynastie d’esclaves abyssins régnant sur Zabîd et la Tihâma, aux Sulayhides (1047-1138), dynastie ismaélienne, influente dans les territoires montagneux. Le sultanat sulayhide est resté célèbre par sa reine Arwa, qui le dirigea 70 ans durant (r. 1067-1138).
Au XIe siècle, trois autres dynasties menacèrent à leur tour les Najâhides et les Sulayhides : les Sulaymanides (1063-1174), les Zurayides (1083-1174), les Hamdanides (1099-1174) et, peu après, une quatrième, les Mahdides (1159-1174).
