Hän oli kylliksi teräväjärkinen huomatakseen, että Marie Antoinetten suosiollisuus saattoi tulla vaaralliseksi heille molemmille sen kateuden ja panettelun vuoksi, johon se antoi aihetta. Vastakohtana ranskalaisille hovimiehille, jotka turhamielisyydessään kerskailivat luulottelemastansa suosiosta, tahtoi ritarillinen Fersen mihin hintaan hyvänsä pelastaa kuningattaren maineen.
Oli vain yksi keino saada pahat kielet vaikenemaan: hänen täytyi poistua kuningattaren lähettyviltä ja Ranskan hovista.
Asianhaarat auttoivat hänen aikeensa toteutumista.
Pohjois-Amerikan vapautussota oli alkanut, ja kapinallisten siirtomaiden aate oli Ranskassa saavuttanut mitä suurinta myötätuntoisuutta. Ranskan satamista lähetettiin aseita ja sotatarpeita Amerikaan.
Halu supistaa Englannin valtaa saattoi Ludvig XVI:nnen rupeamaan amerikalaisten vapaudentaistelijain puolelle heidän sotiessaan alkuperäistä isänmaataan vastaan, ja nuoria ranskalaisia lähti suurin joukoin maasta ottaakseen osaa sotaan toisella puolen Atlantin.
Näihin liittyi nyt Aksel Fersen. Hän pyysi saada astua yhteen
Lafayetten ja Rocbambeaun muodostamista rykmenteistä.
Yhtä vähän kuin Marie Antoinetten oli onnistunut salata mieltymystään Ferseniin, yhtä vähän sai hän salatuksi surua, joka häntä kalvoi Fersenin lähdön johdosta. Vastoin tahtoa puhkesivat kyyneleet hänen silmistään joka kerran, kun hän silmäili Ferseniä lähdön edellisinä päivinä.
Marie Antoinetten suosikki ymmärsi säilyttää kunnioittavan, syrjässä pysyttelevän asemansa. Muuan hovinaisista lausui hänen lähtönsä johdosta hänelle:
"Kuinka, herra kreivi — te luovutte voitostanne?"
"Jos minulla olisi onni kerskata jostakin voitosta, niin en suinkaan siitä luopuisi", vastasi Fersen hienosti. "Minä matkustan vapaana kaikista siteistä sekä valitettavasti jättämättä kaipaavia jälkeeni."