Mutta arkkiherttuatar Sophie otti häneltä pois heidät melkein heti. Hän karkotti äidin Hofburgin loistosaleihin, missä Elisabet tunsi itsensä vieraaksi, ja järjesti nuorten prinsessojen asunnon suunnattoman suuren, vanhan linnan sivurakennukseen.
Elisabetin täytyi vasten tahtoaankin verrata omaa elämäänsä äitinsä, Possenhofenin emännän sisällökkääseen elämään, joka oli täynnänsä työtä ja jaloa uhrautumista lapsijoukkonsa hyväksi.
Tämä ajatus sai hänet vain sitä katkerammasti tuntemaan oman olemisensa surullisuuden. Hänen itsensä oli pakko viettää paradielämää korkean asemansa loistossa; hänen täytyi elää palvellakseen kauneuttaan ja näytelläkseen pukujaan. Hänen äidinrakkautensakin sai näyttäytyä vain haluna välistä huvin vuoksi hetkisen leikkiä pienokaisten kanssa.
Hänelle huomautettiin niin usein ja jyrkästi, että hänen oli välttämätöntä hankkia valtakunnalle kruununperillinen, että hän rupesi aivan pelkäämään. Eräänä päivänä hän kuuluu avanneen sydämensä äidilleen ja kysyneen häneltä:
"Luuletko, että Frans seuraa Napoleonin esimerkkiä ja purattaa avioliittomme, jos minä en saa poikaa?"
"Ei sinun pidä miettiä semmoisia asioita, lapseni. Fransisi rakastaa sinua kaikesta sydämestään", vastaus kuului. Ja viisas äiti kuuluu lisänneen:
"On kahta lajia naisia: semmoisia, jotka saavat kaikki, mitä toivovat, ja semmoisia, jotka eivät saa mitään siitä, mitä toivovat. Sinä näytät kuuluvan viimemainittuihin. Olet luonnolta saanut erinomaiset lahjat ja olet jalo luonne. Mutta sinulta puuttuu eräs ominaisuus: et kykene alentumaan ympäristösi kannalle etkä voi kohota olosuhteiden voimalla. Kuulut toiseen aikaan kuin meidän, aikaan semmoiseen, jossa oli pyhimyksiä ja marttyyrejä. Älä vedä maailman katseita itseesi olemalla pyhimys, mutta älä myöskään päästä sydäntäsi murtumaan kuvittelemalla olevasi marttyyri."
Yhä kiihkeämmin Elisabet alkoi toivoa saavansa pojan. Jos tämä tapahtuisi, hän toivoi elämän vielä voivan muodostua hänelle onnellisemmaksi, kuin se oli näyttänyt tahtovan muodostua hänen ensimäisinä aviovuosinaan.
Kohta hänen täytettyään kaksikymmentä vuotta, tämä hänen harras halunsa toteutui. Illalla elokuun 21 päivänä 1858 Frans Josefin nuori, kaunis puoliso synnytti heikon ja hintelän, mutta kauniin pojan. Syrjäyttäen kaikki muodollisuudet, onnellinen isä kiinnitti "Kultaisen taljan" ritarimerkin poikansa kehtoon.
Seuraavana aamuna sähkölennätin vei tiedon keisaripojan syntymästä maailman etäisimpiinkin osiin; sata yksi tykinlaukausta pamahti Itävallan ja Unkarin kaikista linnoituksista. Miljonat ihmiset tervehtivät tapahtumaa riemulla, ja kaikkialla suuressa valtakunnassa kokoonnuttiin kirkkoihin rukoilemaan äidin ja lapsen puolesta.