Sillä hetkellä Rudolfin äiti oli kansan suosiossa. Hänen vihollisensa vaikenivat, hänen anoppinsa oli tyytyväinen, ja itse hän oli onnellinen.
"Kukaan ei tähän asti näytä tarvinneen minua", hän virkkoi, "ei edes pikku tyttönikään, jota koetetaan pitää minusta loitolla niin paljon kuin mahdollista. Mutta en aijo suostua siihen, että poikani otettaisiin minulta ja jätettäisiin hänet vierasten ihmisten kasvatettavaksi. Hän on tarvitseva minua, ja me teemme toisemme onnellisiksi."
Taaskin hän erehtyi. Rudolf karkotettiin melkein heti lastenkamariin, linnan etäisimpään osaan. Turhaan äiti vastusti tätä järjestystä. Anoppi oli vallitseva eikä tämä kopea arkkiherttuatar tahtonut sallia, että Europan yhden mahtavimman valtakunnan perillinen saisi kasvatuksensa nuorelta keisarinnalta, joka hänen mielestään ei ollut selvillä edes siitä, kuinka hänen itsensä pitäisi käyttäytyä.
Elisabetin rukoillessa lupaa saada täyttää äidinvelvollisuutensa ja huomauttaessa, kuinka lohdullista hänelle olisi saada pienokainen omaan hoivaansa, arkkiherttuatar vihastui. Hänen mielestään Elisabetilla oli täysi syy pitää itseään onnellisena, eikä hän voinut tai tahtonut käsittää, että nuori äiti olisi minkään lohdutuksen tarpeessa.
Näköjäänhän anoppi olikin oikeassa: ulkonaisessa suhteessa Elisabet oli avioliitollaan saanut kaikki, mitä maailma saattoi tarjota. Mutta hän ei ollut kyllin pintapuolinen luonne, jotta ulkoinen loisto olisi voinut korvata hänelle pettyneet toiveet taikka täyttää hänen sydämensä tyhjyyden.
Hänen asemansa tuli melkoista huonommaksi sen kautta, että keisarin lähinnä vanhin veli kesällä 1857 meni naimisiin Belgian kuninkaan Ludwig I:n kunnianhimoisen tyttären Charlotten kanssa. Tämä näet heti liittyi hovin siihen puolueeseen, joka oli vihamielisellä kannalla keisarinnaa kohtaan. Hänestä tuli anoppinsa suosikki, ja se seikka, että hän itse pysyi lapsettomana oli vain lisäsyynä hänelle kadehtimaan kälyään.
Synkkiä pilviä nousi sillä välin valtiolliselle taivaanrannalle. Frans Josefin italialaisten alamaisten keskuudessa vallitsi mieltenkuohu, ja Habsburgien valtakunnan muissakin osissa oli syvällistä tyytymättömyyttä hallitukseen.
Ei ollut mikään salaisuus, että arkkiherttuatar Sophie voimakkaalla kädellään ohjasi valtakunnan sekä sisäisiä että ulkonaisia asioita. Itävallassa puhuttiin julkisesti, että hän se julisti sodat ja teki rauhat. Hänen harjottamansa valta herätti tyytymättömyyttä laajoissa piireissä. Upseerit, porvarit ja virkamiehet ilmaisivat tyytymättömyytensä "hamevaltaan".
Sodan syttyessä Ranskaa ja Sardiniaa vastaan 1859, maan kiistämättömät edut ja sen alueet merkitsivät keisarin äidille vähemmän kuin jesuitojen vallan ylläpitäminen.
Elisabet tajusi, kuinka onnetonta oli, että hänen puolisonsa salli äitinsä ohjata häntä valtiollisessakin suhteessa. Hän paloi halusta puuttua asiaan ja saada tämä epäkohta autetuksi, mutta hän oli aivan voimaton.