Tammikuun 19. p:nä 1794 oli suutari Simon luopunut toimestaan Templessä. Seitsemän kuukauden kuluessa oli hänen onnistunut tehdä kauniista ja lahjakkaasta kuninkaanpojasta sairaloinen raukka, joka oli turmeltu sekä ruumiin että sielun puolesta.
Simonin muutettua pois, jätettiin pojan silmälläpitäminen vanginvartijan asiaksi. Huone, jossa Ludvig XVI:nnen kamaripalvelija oli asunut ja jota Simonin vaimo oli käyttänyt sairashuoneena, varustettiin nyt hänelle asunnoksi. Porstuaan vievä ovi naulattiin kiinni. Keskelle ovea hakattiin neliskulmainen aukko, joka varustettiin ylös sekä alas lykättävällä rautaristikolla ynnä pienellä laudalla, jolle portinvartija voi asettaa ruuan sekä vanki sen, minkä hän halusi lähettää takaisin.
Huonetta lämmitettiin vain porstuasta johdetulla uunintorvella ja valaistiin vain lampulla, joka ripustettiin rautaristikolia varustetun aukon ulkopuolelle. Auringon valo ei päässyt koskaan huoneeseen. Siinä istui Ranskan valtaistuimen perillinen monet kuukaudet ilman minkäänlaista työtä tai askaroimista sekä näkemättä edes sitä kättä, joka ojensi hänelle ruuan.
Hänen jo ennestään heikot silmänsä tulivat nyt valon ja ilman puutteesta melkein sokeiksi. Nekin vähäiset voimat, jotka suutarin rääkkäyksiltä olivat säilyneet, hupenivat lakkaamatta. Häntä vaivasivat paiseet, ja onnettomuuden kukkuraksi hivutti häntä ankara kuume.
Simon oli ollut julma vainooja, mutta siitä huolimatta ikävöi lapsi häntä. Simonin vaimo oli ollut oikea syöjätär, joka oli lyönyt ja survinut häntä, mutta hän oli toisinaan kuitenkin säälinyt kuninkaanpoikaa.
Kohta ei Kaarle Ludvig kyennyt enää pitämään vankilaansa puhtaana eikä vapisevilla käsillään pitelemään tinalautasta tai vesiruukkua. Liikkumatonna makasi hän kohentamattomalla vuoteella. Usein näki hän hiirien ja rottien syövän sen ruuan, jota ei viitsitty tuoda hänen vuoteensa viereen ja jota hän ei itse kyennyt noutamaan.
Heinäkuun 27. p:nä 1794 tarkasti Barras vankilan. Hän halusi nähdä pientä ruhtinasta. Rautaristikko avattiin, ja ensi kertaa puoleen vuoteen näki Kaarle Ludvig ihmisolennon.
Kauhusta puolitainnoksissa ollen huusi hän:
"Minä en sano mitään pahaa vartijoistani."
Barras mykistyi nähdessään tämän lapsen, jonka tauti ja kurjuus olivat jo lopen tuhonneet.