Mohammed hinterließ nach seinem Tod 632 weder einen Erben noch designierten Nachfolger und es begannen die Diskussionen um einen Nachfolger (Khalif). Auf die ersten Kalifen einigte man sich schnell – es waren Abu Bakr (632-34) und Umar (634-44), beide Schwiegerväter Mohammeds.

Bei der Ernennung des dritten Kalifen Othman (644-56) kam es jedoch zu Meinungsverschiedenheiten. Um den Titel stritten sich Othman (er kam aus der Familie der Umayya, die jahrelang gegen den Propheten Mohammed agierten) und Ali, der Schwiegersohn und Vetter von Mohammed. Othman konnte die Wahl jedoch für sich entscheiden. Durch äußere (Irak, Iran, der gesamte vordere Orient, sowie große Teile von Nordafrika wurden von den Muslimen beherrscht) und innere Spannungen (u.a. Benachteiligung nichtarabischer Muslime) kam es zu innerislamischen Auseinandersetzungen.

Othman wurde 656 während des Betens ermordet und sein schärfster Widersacher, Ali, wurde zum neuen Kalifen ernannt. Freunde und Familie von Othman bezichtigten Ali des Mordes und es kam zu kriegerischen Auseinandersetzungen. Dies führte dazu, dass Ali sich nach Kufa (Irak) zurückzog und sein Widersacher aus der Familie der Umayyas, Muawiya, sich in Jerusalem 660 als Kalif huldigen ließ. Damit war die Umma (die islamische Gemeinde) auseinander gebrochen.

661 fiel Ali einem Attentat zum Opfer und das Kalifat des Umayyaden Muawiya wurde daraufhin fast überall anerkannt. Lediglich die Anhänger Alis widersetzten sich (muslimische Nichtaraber, die nach sozialer Gleichstellung strebten und muslimische Araber, die Ali, als den einzig rechtmäßigen Kalifen anerkannten).
Da sie als geschlossene Gruppe auftraten, wurden sie fortan als Schia (= Partei) genannt.

Aus der Schia sind die Schiiten, aus den Umayyaden die Sunniten hervorgegangen.