Hänen käydessään tapaamassa Elisabetia taikka milloin tämä joksikin aikaa asettui johonkin keisarillisen linnaan ollakseen yhdessä miehensä ja lastensa kanssa, keisarinna teki kaikkensa luodakseen iloa näihin yhdessä-oloihin. Hän näytti ikäänkuin tuntevan tarvetta antaa miehelleen hiukan korvausta siitä perhe-elämästä, jota ilman tämän piti olla hänen matkojensa takia.
Illat hän silloin vietti melkein aina pitkissä, huvittavissa keskusteluissa terassilla taikka takkavalkean ääressä miehensä ja heidän nuorimman tyttärensä kanssa. Välistä Rudolfkin liittyi heidän seuraansa.
Jos keisari oli iltasella kiinni, hän seurusteli Valerian ja muutamien hovinaistensa kanssa, joitten lukumäärä kuitenkin yhä pieneni.
Hovia hän yleensä tahtoi pitää erillään itsestään. Hänen käytöksensä ilmaisi selvästi niille, joista hän ei pitänyt: "Pääsy syrjäisiltä kielletty!" Ja jos tätä hänen toivomustaan ei ymmärretty, hänen hermostuksensa saattoi leimahtaa ilmi-liekkiin.
Kerran hän Wienin keisarillisen linnan suurilla portailla antoi korvapuustin eräälle palvelusvuorossa olevalle kamariherralle, joka syystä taikka toisesta oli herättänyt hänessä vastenmielisyyttä.
Tämän tapauksen olivat nähneet liian monet, jotta kamariherra olisi vaieten voinut niellä loukkauksen. Hän tunsi olevan syytä pyytää keisarilta eroa toimestaan.
Frans Josef varmaankin soi anteeksi puolisonsa tämmöisen tarmon puuskahduksen — tarmon, jota häneltä itseltään puuttui aivan liian paljon. Hänen sanotaan lausuneen, että hänellä oli mitä suurin halu antaa kamariherralle ero.
Mutta hyväntahtoinen kuin oli, hän otti asian harkitakseen, ja lepyttääkseen katkeroittuneen kamariherran, keisari antoi hänelle seuraavana päivänä ritarimerkin.
Juttu aatelismiehestä, joka oli saanut ritarimerkin siitä syystä, että keisarinna oli antanut hänelle korvapuustin, huvitti wieniläisiä suunnattomasti.
Vanhempana ollessaan Elisabetista tosin ei paljon pidetty korkeammissa piireissä, joissa häntä tuskin tunnettiin, mutta siihen sijaan häntä sitä enemmän rakastivat hänen lähimmät hovinaisensa, ja hänen palvelijansa jumaloivat häntä.