Ehkäpä hän itse ensimäisenä huomasikin, että hän ei enää nauttinut suosiota, ei Itävallan keskisäädyn eikä korkeampien luokkien taholta, ja tämä varmaan lisäsi hänen haluaan vetäytyä erilleen maailmasta.
"Ihmiset eivät tiedä, mitä heidän pitäisi minusta sanoa", hän lausui. "Minä en sovellu heidän laatimiinsa kuvitelmiin, eivätkä he pidä siitä, että heidän laatikkonsa saatetaan epäjärjestykseen. Sen vuoksi olenkin kokonaan omissa oloissani. Sivistyneet ihmiset eivät seuraakaan minua yksinäisyyteeni, sillä heillä on kyllä mielestään tilaisuutta käyttää aikansa paremminkin."
Ja hän lisäsi: "Pitkällinen yksinäisyyteni on opettanut minulle, että oleminen tuntuu raskaimmalla silloin, kun on toisten ihmisten seurassa."
Kun Wienin maailmannäyttely suljettiin, hän otti palvelukseensa pienen neekeripojan, jonka nimi oli Mahmud. Hän oli ollut oppaana siinä Kairon-talossa, jonka Egyptin khedivi oli laitattanut maailmannäyttelyyn ja jonka hän lahjoitti Elisabetille.
Mahmud jumaloi valtijatartaan ja oli onnellinen saadessaan elää hänen läheisyydessään. Keisarinna kohteli pikku poikaa erinomaisen hyvin. Tottuneena Afrikan ilmastoon poika sai Wienissä keuhkokuumeen, ja keisarinna hoiteli häntä kaikin tavoin. Sekä kansa että Itävallan ylimystö pitivät hyvin sopimattomana, kun saivat tietää, että keisarinna salli tyttärensä Valerian leikkiä neekeripojan kanssa.
"Puhua pahaa lähimmäisistään on ihmisille elämänehto, samoin kuin valittaminen on sypressille elämänehto", keisarinna kuuluu lausuneen.
"Varokaa hovin juonitteluja", hän virkkoi eräässä toisessa tilaisuudessa. "Ei koskaan tiedä, mitä ansoja viritellään eteemme. Hovissa on kenenkään mahdotonta elää tuntiakaan puhumatta pahaa lähimmäisestään."
"Varmaan minun olisi kiitettävä Jumalaa siitä, että olen keisarinna", hän jatkoi, "sillä muuten minun olisi käynyt huonosti. Keisarinnaa suvaitaan vain siitä syystä, että hänen avullaan voidaan luoda oma asema."
Hovielämä synnytti hänessä välistä suorastaan kauhua.
Wienin lyhytnäköinen, turhamainen hovi oli aina valmis levittämään hänestä valheita, joita keskisääty sitten levitti edelleen. Vuosien kuluessa keisarinnan nimi tahrattiin niin likaan Itävallan pääkaupungissa, että hänen oli tosiaan vaikea sietää oleskelua siellä.