Segno veramente espressivo del carattere di Ruggero era l'iscrizione incisa sulla lama della sua spada: Apulus et Calaber, Siculus mihi servit et Afer.
Gli successe Guglielmo I, per le sue cattive qualità detto il Malo. Egli era l'unico figlio superstite a Ruggero, imperocchè gli altri quattro, Ruggero, Anfuso, Tancredi ed Enrico precedettero tutti il padre nella tomba. Fu sorprendente la rapida decadenza di una stirpe tanto forte e numerosa: in pochi anni si ridusse ad un unico discendente collaterale, ed insieme il Regno di Sicilia decadde rapidamente dall'altezza a cui Ruggero aveva saputo portarlo. Morto questi, si dovette riconoscere che tutta la forza del nuovo regno riposava esclusivamente nella sua persona. Sotto il governo di Guglielmo il Malo non tardò la Sicilia a ricadere in tali condizioni da ricordare gli emirati dei Saraceni, sotto l'influenza di un favorito del re, avventuriero straniero al paese, il grande ammiraglio del regno Maione di Bari, il quale attentò alla corona. Non vi furono che congiure, rivoluzioni di palazzo, ribellioni di nobili, un caos ovunque. L'odioso re Guglielmo, dopo una vita travagliata, ma non senza qualche successo in guerra, morì nel 1166, in età di quarantacinque anni.
Con suo figlio Guglielmo II, detto il Buono, salito sul trono a soli undici anni, si estinse la linea diretta della stirpe normanna. I primi anni del suo regno furono agitatissimi, a motivo delle contestazioni sulla tutela, delle ribellioni dei baroni e degli intrighi di corte. I Normanni avevano saputo magnificare e conquistare un regno, ma non se lo seppero mantenere. Non appena il clima ed il lusso orientale cominciarono ad infiacchire in essi la nordica forza, decaddero, ed infine il feudalismo e la prepotenza indomabile dei nobili li vinsero. Nessuna dinastia, del resto, avrebbe potuto mantenersi a lungo sul vulcanico suolo di Napoli e di Sicilia; tutte furono d'origine straniera, tutte vennero in possesso dell'isola in modo avventuroso, tutte finirono miseramente e per lo più per tradimento. Guglielmo II, del resto, fu molto dissimile dal padre, e la posterità gli confermò il titolo di Buono che il clero, per gratitudine, avevagli dato. Mentre Guglielmo il Malo viveva come un maomettano e si fabbricava sontuosi palazzi e giardini, Guglielmo il Buono fondava monasteri e conventi. A lui sono dovuti parecchi monumenti d'architettura religiosa, in ispecie il famoso duomo di Monreale e la cattedrale di Palermo. Morì il 1o novembre 1189, in età di soli trentasei anni.
Della stirpe di Ruggero I non rimaneva più che un bastardo, Tancredi conte di Lecce, figlio naturale di Ruggero, primogenito di re Ruggero, premorto al padre; inoltre, l'altra figlia Costanza aveva sposato l'imperatore Arrigo VI; erede legittimo delle Due Sicilie sarebbe dunque stato l'imperatore. Ma il partito nazionale si rivolse a Tancredi, conte di Lecce, che venne a Palermo nel 1190 e si fece incoronare. Questo prode bastardo ebbe molti punti di somiglianza con re Manfredi, vissuto dopo di lui; come questo fu uomo d'ingegno, poeta, musico, versato nelle matematiche e nell'astronomia, che gli Arabi avevano allora diffuse, e come questo fu generoso ed infelice. Riuscì vittorioso nei primordi della guerra che ebbe a sostenere contro i Tedeschi di Arrigo, per assicurarsi il possesso del regno, e quando Costanza cadde nelle sue mani, la trattò con grande cavalleria, restituendole la libertà. Pareva che la nobile stirpe dei Normanni dovesse rifiorire in Tancredi, che aveva, ei pure, due figli, Ruggero e Guglielmo, al primo dei quali, bellissimo giovane, aveva dato in isposa Irene, la figlia dell'imperatore greco Isacco Angelo ed avevalo già fatto incoronare re, quando il giovane repentinamente morì nel 1193. Tancredi provò gran dolore alla perdita di questo figlio, tanto che presto, il 20 febbraio 1194, lo raggiunse nella tomba. Rimase suo unico erede Guglielmo, ancor minorenne, che fu incoronato a Palermo. La reggenza venne assunta dalla vedova di Tancredi, Sibilla, che aveva pure tre figlie: Albina, Costanza e Mandonia.
In questo stato di cose, facile fu ad Arrigo conquistare la Sicilia. L'esercito di Sibilla fu sconfitto; Messina, Catania e Siracusa caddero nelle mani dell'imperatore e i baroni passarono dalla parte di questo. L'infelice regina si era ritirata co' figli suoi nella rocca di Caltabellotta ed attendeva colà il corso degli avvenimenti. Il 30 novembre 1194, Arrigo era entrato in Palermo, che avevagli fatto festosa accoglienza, salutando con musica ed inni di gioia la nuova signoria degli Svevi. Sibilla, allora, vistasi da tutti tradita, si decise a trattare, ed il giovane principe Guglielmo, cui l'imperatore aveva promesso solennemente la contea di Lecce e il principato di Taranto, venne a deporre a' suoi piedi la corona. Ma gl'infelici erano caduti in un tranello: Arrigo, non appena incoronato, col pretesto di una falsa congiura, dimentico de' suoi giuramenti, sfogò la sua selvaggia passione di vendetta contro i partigiani della stirpe normanna e contro la misera famiglia regale. Molti baroni e sacerdoti furono tormentati e condannati a morte; Sibilla e i suoi figli furon cacciati in carcere, e Guglielmo, l'ultimo campione della sua gente, venne accecato. Indi la regina e le figlie furono trasportate nel monastero di Hoenburgo, in Alsazia, ove a lungo vissero in prigionia. S'ignora qual fine facesse Guglielmo; una vaga leggenda vuole che ei fuggisse dal carcere e vivesse a lungo da eremita a S. Giacomo, presso Chiavenna.
Così tragicamente si spense la stirpe normanna, cui la fortuna aveva fatto dono di una fra le più belle contrade del mondo, e la sua fine fu tanto più notevole in quanto che non tardò a tenergli dietro quella degli Hohenstaufen. La Nemesi vendicativa colpì questa pure. Come erasi impadronita della signoria di Sicilia col sangue e la crudeltà, così ebbe a patire la stessa sorte, raccogliendo quel che aveva seminato. Secondo la tradizione, Federigo nacque lo stesso giorno in cui suo padre Arrigo macchiava la sua mano di sangue, il 26 dicembre 1194. Arrigo morì tre anni dopo in Messina, di soli 32 anni. Manfredi, bastardo al pari di Tancredi ed al pari di Tancredi prode e generoso, fu tradito e cadde nella battaglia di Benevento; Elena, sua moglie, ricoveratasi nella rocca di Trani, come un dì Sibilla co' suoi figli in quella di Caltabellotta, al pari di lei si vide tradita e fu rinchiusa insieme con i figli in carcere, dove morì di dolore; sua figlia Beatrice visse per ben diciotto anni nel Castel dell'Uovo a Napoli; i tre figli minori, Enrico, Federigo e Anselmo rimasero per trenta anni in carcere, e Corradino, infine, lasciò la vita sul patibolo. Tanto sangue versato suscitò novella sete di vendetta che poi si sfogò sopra gli Angioini, nei Vespri siciliani.
Gli Hohenstaufen trovarono, del resto, l'isola in floride condizioni; paese dalla natura prediletto, la Sicilia era divenuta durante la signoria normanna ricca, mercè l'industria e il commercio. Nessun nemico esterno in quel periodo era entrato nella città, mentre dall'Oriente e dall'Africa erano stati portati in grande quantità oggetti preziosi.
Allorquando Arrigo VI entrò in Palermo, rimase impressionato dallo splendore della città, e trovò nel palazzo dei re normanni grandi tesori, oro, gemme, rare stoffe di seta, che fece imbarcare.
Arnoldo, abate di Lubecca, narra che «entrato Arrigo nella dimora del morto Tancredi, vi trovò letti, sedili, tavole d'argento, vasellame d'oro finissimo, tesori nascosti, gemme, meravigliosi gioielli sì da caricarne centocinquanta bestie da soma, facendo ritorno in patria ricco e glorioso».
Fu in questa occasione che venne portato in Germania il prezioso manto, tessuto con seta, ornato di caratteri arabi, che aveva servito all'incoronazione di Ruggero I, e che, nel 1424, per volere dell'imperatore Sigismondo, fu riunito con altri gioielli dell'Impero a Norimberga, tanto che poi lo si credette il pallio di Carlomagno.