Pariisissa luultiin että hänet oli viety pois.
Jotta nämä levottomuutta synnyttävät huhut olisi saatu vaimennetuksi ja jotta vartijat olisivat nähneet hänen vielä olevan vankilassa, annettiin hänen eräänä päivänä mennä alas puutarhaan.
Mutta tuskin oli hän tullut puistoon, kun hän jo rupesi suurella äänellä huutamaan äitiään.
Sen vuoksi annettiin hänen piammiten jälleen palata huoneeseen, eikä Marie Antoinetten, huolimatta kaikista rukouksistaan, onnistunut kertaakaan saada tavata lastansa.
Hän kävi kiihkeästi kaikkien vartijain kimppuun, jotka tulivat hänen läheisyyteensä, ja teki heille epätoivoisia kysymyksiä. Muutamat näistä tekivät harvoin sanoin selkoa hänelle, millaisissa oloissa pieni poikanen eli. Mutta heidän kertomuksensa olivat sydäntä raastavia, ja Elisabeth pyysi vihdoin, etteivät he ilmaisisi kuningattarelle kauhistavaa totuutta.
Päivisin ja pitkinä yöntietäminä ajatteli Marie Antoinette tätä suloista lasta, joka oli ollut hänen elämänsä tarkoitusperänä ja voimana. Poikanen oli jätetty tuntemattomiin, karsaihin käsiin, ehkäpä häntä rääkättiin kenenkään pyyhkimättä pois kyyneltä hänen silmästään. Nukkuessaan uneksi hän, että ihmissyöjäin hampaat raatelivat hänen poikaansa. Kuningatar heräsi silloin kauttaaltaan hiessä ja vietti kamalia hetkiä, hetkiä, jollaisina ihminen ajattelee itsemurhaa tahi on tulla hulluksi.
Simon rääkkäsi ja turmeli järjestelmällisesti pientä kuninkaanpoikaa. Hän ei päästänyt Kaarle Ludvigia liikkumaan ja kielsi häntä pitkiin aikoihin menemästä tornin katolle saamaan raitista ilmaa.
Hän pakotti Kaarle Ludvigia syömään enemmän kuin hän jaksoi, ja tämä uusi elämäntapa vaikutti haitallisesti hänen terveyteensä ja luonteeseensa. Hän tuli lihavaksi ja herkesi kasvamasta. Mutta samalla hän päivästä päivään myös tuli sairaammaksi ja heikommaksi. Hänen suurten, eloisain silmäinsä loiste sammui, ja suutarin vaimo leikkasi säälittä pois hänen pitkän vaalean kiharatukkansa, joka oli ollut Marie Antoinetten ylpeytenä ja ilona.
Ennen Simonin käsiin joutumistaan ei Kaarle Ludvig koskaan ollut maistanut vettä väkevämpää, mutta hänen uusi vartijansa pakotti hänet juomaan niin paljon viiniä ja paloviinaa, että hän useinkin päihtyneenä romahti lattialle pitkälleen. Juovuttavat juomat tuottivat hänelle kiivaan sydämentykytyksen ja synnyttivät lopulta hänessä ankaran taudin. Mutta toivuttuaan taudista oli hänen jatkaminen entistä elämäntapaansa.
Vaikka melkein kaikki tässä lapsessa turmeltiin, säilyi äidin muisto sentään edelleen hänen sydämessään. Päihdyttävien juomain väärinkäyttö, lyömiset ja kaikellaiset muut kärsimykset eivät saaneet äidin armasta kuvaa hävitetyksi, ja unessa huusi pikku Kaarle Ludvig hänen nimeään.