On luonnollista, että pojan suhde äitiin tämän naimisen jälkeen tuli toiseksi. Elisabet tämän tunsi ja se kiusasi häntä.
Vielä Rudolf kuitenkin uskoi hänelle monet huolensa, ja keisarinna huomasi pian, että poikansa ei ollut onnellinen avioliitossaan.
Elisabet tunsi nyt vähemmin kuin koskaan ennen viihtyvänsä Hofburgissa. Kruununprinsessan saavuttua hoviin, hän oli enää vain lyhemmän aikaa talvisin Wienissä. On väitetty olleen vuosia, joina hän ei oleillut siellä muuta kuin kolme tai neljä viikkoa.
Sekä hän että keisari asuivat mielellään kuukauden verran kesällä
Ischlissä, missä heille oli niin monta ja merkitsevää nuoruudenmuistoa.
Koko perheen oli silloin tapana kokoontua sinne viettämään keisarin
syntymäpäivää.
Siellä Elisabetilla oli runsaasti tilaisuutta vuorikäveilyihin, joita hän niin kovin rakasti. Ischlin lähellä on tuskin ainoatakaan vuorenhuippua taikka paimenmajaa, jossa keisarinna ei olisi vuosien kuluessa käynyt.
Kävelyretkillään hän mielellään tarinoi talonpoikien kanssa. Hän kyseli heiltä heidän jokapäiväisestä elämästään ja maksoi ruhtinaallisesti joka maitolasin, joka hänelle tarjottiin.
Lapset toivat hänelle alppikukkasia, ja hän vastasi heidän sydämelliseen tervehdykseensä: "Grüss die Hand, Frau Kaiserin!" ystävällisellä vastatoivotuksellaan: "Grüss Euch Gott, liebe Kinder!"
Lankonsa, Meksikon keisarin Maksimilianin kuoleman jälkeen Elisabet useina vuosina kävi hänen huvilinnassaan Miramarissa Triestin lähellä. Rakennus on tehty puhtaimmasta, hienoimmasta marmorista kalliolle avoimen meren rannalle. Lähellä on paviljonki, jossa keisarinna Charlotte asui Meksikosta palattuaan leskenä, mielipuolena ja kansansa karkoittamana.
Sekä Hofburgissa että Schönbrunnissa keisarinna oli huomannut semmoista, mikä ei ollut hänen makunsa mukaista, mutta mitä hän hienotunteisuudesta ei kuitenkaan tahtonut muuttaa.
Keisarin oli tapana viettää talvikaudet Schönbrunnissa, ja heidän avioliittonsa ensimäisinä vuosina keisarinnakin usein asui siellä. Mutta Elisabet rupesi pian ikävöimään toista olinpaikkaa, ja Rudolfin häitten aikoihin hän päätti rakennuttaa oman linnan, "Waldesruhe", Lainzin eläintarhan lähelle Hietzingiin Wienin laitamalle.