Kului kuukausia, ja keisarinna oli yhä vain matkoilla.
Surkuteltiin keisaria, mutta monet rupesivat menemään myöskin nuoren, kokemattoman keisarinnan puolelle. Ja kun arkkiherttuatar nyt lausui halventavia huomautuksia miniästään, niin monissa vakiintui ajatus, että Elisabet ehkä ei koskaan olisi lähtenytkään tiehensä, jos hänen anoppinsa ei olisi laittanut kompastuskiviä hänen tielleen ja koettanut kaikissa tilaisuuksissa loukata ja solvaista häntä.
Aviopuolisojen huonot välit jatkuivat monta vuotta.
Sekä Itävallan hovin että oman perheensä puolelta tehtyjen hartaiden kehotusten jälkeen Elisabet viimein suostui silloin tällöin näyttäytymään Wienissä. Mutta niin pian kun oli täyttänyt välttämättömimmän esiintymisvelvollisuuden, hän jälleen matkusti ulkomaille.
Keisarillisen hovin pakko oli hänestä kiusallisempi kuin koskaan ennen, sitten kun oli tutustunut ja mielistynyt matkustuksen huveihin ja vapauteen. Hän oli ruvennut tuntemaan osanottoa vieraisiin kansoihin, heidän kieleensä ja tapoihinsa, ja hänestä oli yhä välttämättömämpää ja hauskempaa tehdä pitkiä matkoja.
Keisari Frans Josefille tämä suhde kävi ajan mittaan melkein sietämättömäksi. Kruununprinssin terveys oli horjuva. Keisaria neuvottiin tekemään sovinto lastensa äidin kanssa, ja hän tajusi, että hänen pitäisi noudattaa tätä neuvoa.
Hänen puolisonsa ei antanut vaikuttaa itseensä. Yksi niitä harvoja, jotka tässä suhteessa jotakin voivat häneen vaikuttaa, oli hänen äitinsä, jonka luonnetta hän mitä syvimmin kunnioitti.
Herttuatar Ludovican huomautusten johdosta keisarinna vähitellen viimein alkoi käsittää, että hänen velvollisuutensa oli palata lastensa luo. Aika oli vaimentanut hänen surunsa kiivaudenkin, ja siihen tuli nyt yksinäisyyden tunne, joka molemmin puolin synnytti toivomuksen löytää jonkun muodon sovintoon.
Tästä huolimatta sovintoa ei varmaan olisi syntynyt pitkiin aikoihin, jos eivät ulkonaiset olosuhteet olisi sitä jouduttaneet.
Itävallalle koittivat vakavat ajat, syttyi vuoden 1866 sota. Ikivanha vihollinen Maria Theresian ajoilta voitti jälleen keisarikunnan, ja Habsburgit tungettiin pois Saksasta ja Italiasta.