Illalla palasi hän väsyneenä kotiin ja söi liemensä sanomatta sanaakaan. Hänen sisarensa, äiti Jeanne, otti usein hänen vielä syödessään vadista parhaat palat, naudanlihamöykyt, silava-viipaleet, kaalinsydämet, ja antoi ne lapsilleen. Hän söi vaan, kumarassa pöydän päällä, pää melkein liemessä kiinni, pitkäin hiustensa valuessa vadin ympärille ja peittäessä hänen silmänsä, ei ollut näkevinään mitään eikä pannut vastaan. Faverollesissa asui lähellä Valjeanin mökkiä raitin toisella puolen muuan vuokraajavaimo, nimeltä Marie Claude. Tavallisesti aina nälkäiset Valjeanin lapset menivät joskus lainaamaan kannun maitoa Marie Claudelta muka äitinsä käskystä; maidon joivat he sitten riidellen ja tapellen jonkun pensasaidan takana tai jossain kujan kulmauksessa, ja niin ahneesti, että pikkutytöt valuttivat sitä esiliinoilleen ja vaatteilleen. Jos äiti olisi saanut tietää tämän ilkitempun, olisi hän aika lailla kurittanut pikku vintiöitä. Tyly ja murjottava Jean Valjean maksoi äidin tietämättä Marie Clauden maitokannut, ja lapset jäivät rankaisematta.
Hän ansaitsi puiden karsimis-aikaan kahdeksantoista souta päivässä, sitten palkkautui hän elonkorjaajaksi, päiväläiseksi, talojen härkärengiksi, tavalliseksi työmieheksi. Hän teki kaikki, mitä vain voi. Hänen sisarensa uurasti myös puolestaan, mutta mikä siinä auttoi, kun oli seitsemän lasta niskoilla? Se oli surkeata joukkoa se, ja kurjuus kietoi ja pusersi sen vähitellen syleilyynsä. Sattuipa ankara talvi. Jeanilla ei ollut työnansiota. Perheellä ei ollut leipää. Ei ollut leipää. Kirjaimellisesti. Seitsemän lasta.
Eräänä sunnuntai-iltana hankkiutui Maubert Isabeau, leipuri Faverollesissa, kirkkotorin varrella, nukkumaan, kun hän kuuli ankaran iskun kolahtavan myymälänsä rautaristikolla ja lasilla varustettuun akkunaan. Hän saapui juuri parahiksi paikalle, nähdäkseen käsivarren työntyvän ristikkoon ja lasiin nyrkillä isketystä reijästä sisään. Käsivarsi sieppasi leivän ja vei sen mennessään. Isabeau kiireen vilkkaa kadulle; varas pakeni täyttä karkua; Isabeau juoksi hänen perässään ja sai hänet kiinni. Varas oli heittänyt leivän luotaan, mutta käsi oli vieläkin veressä. Se oli Jean Valjean.
Tämä tapahtui v. 1795. Jean Valjean joutui tuomioistuimen eteen "murtovarkaudesta yöllä asutussa talossa". Hänellä oli pyssy, jota hän käytteli erinomaisen taitavasti; hänessä oli hiukan salametsästäjän vikaa. Se pahensi hänen asiaansa. Salametsästäjiä vastaan vallitsee laillinen ennakkoluulo. Salametsästäjä samoin kuin salakuljettajakaan ei ole rosvosta kovinkaan kaukana. Mutta sanokaamme tässä ohimennen, että pitkä on sentään vielä matka tämänlaisista ihmisistä kaupunkien inhottaviin murhamiehiin. Riistanvaras elelee metsissä, salakuljettaja elää vuoristossa tai merellä. Kaupungit synnyttävät raatelevia verenhimoisia ihmisiä, koska ne synnyttävät siveellisesti rappeutuneita ihmisiä. Vuoristo, meri, metsä, ne synnyttävät villejä ihmisiä. Ne kehittävät kurjaa puolta, mutta useinkaan hävittämättä ihmisellistä puolta.
Jean Valjean havaittiin syylliseksi. Lakikirjan sanat olivat selvät. Niitä on meidän sivistyneessä yhteiskunnassamme kauheita hetkiä; ne ovat hetkiä, jolloin voimassa oleva rangaistusjärjestelmä julistaa ihmisen perikatoon tuomituksi. Mikä kamala hetki tuo, jolloin yhteiskunta pakenee kauvas ja hylkää auttamattoman turmion omaksi ajattelevan olennon! Jean Valjean tuomittiin viideksi vuodeksi kaleereihin.
22 päivä huhtikuuta 1796 juhlittiin Pariisissa Montenotten voittoa, jonka Italian armeijan johtava kenraali oli saavuttanut; tätä kenraalia kutsutaan Hallituskunnan tiedonannossa Viiden sadan neuvostolle 2 päivältä floreal-kuuta[31] vuonna IV Buona-Parteksi. Samana päivänä taottiin pitkä rautakahle Bicetressä. Jean Valjean kiinnitettiin yhtenä tähän kahleeseen. Muuan vanha vankilan ovenvartija, jolla nykyään on jo ikää lähes yhdeksänkymmentä vuotta, muistaa vielä vallan hyvin tuon onnettoman, joka raudotettiin neljännen ketjun päähän pihan pohjoisessa kulmassa. Hän istui maassa kuten muutkin. Hän ei näyttänyt oikein käsittävän tilaansa, ellei sen verran, että se oli kauhea. Mahdollisesti selvisi tämän tuiki tietämättömän miesraukan hämärissä ajatuksissa sekin seikka, että jotain tavatonta oli nyt tekeillä. Kun hänen päänsä takana ripein vasaraniskuin niitattiin hänen kaulakahleensa sokkanaulaa, itki hän, kyyneleet olivat hänet tukahuttaa, ne estivät häntä puhumasta, hän kykeni vain silloin tällöin kertomaan: Minä olin puiden karsijana Faverollesissa. Sitten kohotti hän yhä nyyhkyttäen oikean kätensä ja antoi sen seitsemässä asteessa vaipua alemmaksi, aivan kuin koskettaisi hän seitsemää erikorkuista päätä, toista toisensa jälkeen, ja tästä liikkeestä saattoi arvata, että mitä hän oli tehnyt, sen oli hän tehnyt hankkiakseen ruokaa ja vaatteita seitsemälle pienelle lapselle.
Tuli lähtö Touloniin. Hän saapui sinne kahdenkymmenenseitsemän päivän matkustuksen jälkeen, vankivaunuissa, kahle kaulassa. Toulonissa puettiin hänet punaiseen mekkoon. Kaikki poistettiin, mikä oli ennen kuulunut hänen elämäänsä, yksin nimikin. Hän ei ollut enää Jean Valjean. Hän oli numero 24601. Miten kävi sisaren? Miten kävi niiden seitsemän lapsen? Kuka siitä huolii! Miten käy jaloin tallatun viheriän vesan lehtien? Aina sama juttu. Nämä elävät olento-raukat, nämä Jumalan luomat hajosivat teille tietymättömille, ilman tukea ja turvaa, ilman ohjaajaa, kukin ehkä omalle taholleen; ja sitten vaipuivat he vähitellen tuohon jäätävään usvaan, minne turvatonten kohtalot häipyvät, pimeyden synkkiin kuiluihin, joihin niin moni onneton elämä katoaa ihmissuvun kurjan kulun jatkuessa. He poistuivat seudulta. Heidän kylänsä kirkontorni unohti heidät; heidän peltonsa rajakivi unohti heidät; ja oltuaan muutamia vuosia vankilassa unohti Jean Valjeankin heidät. Tässä sydämessä, jossa oli ollut haava, oli nyt arpi. Siinä kaikki. Tuskin kertaakaan koko sinä aikana, jonka hän vietti Toulonissa, kuuli hän puhuttavan sisarestaan. Se tapahtui luullakseni hänen vankeutensa neljännen vuoden lopulla. En tiedä enää, mitä tietä tuo tieto hänelle saapui. Muuan mies, joka oli tuntenut heidät kotikylässä, oli nähnyt hänen sisarensa. Hän oleskeli Pariisissa. Hän asui kurjan Geindre-kadun varrella, Saint-Sulpicen kirkon lähettyvillä. Hänellä oli enää luonaan vain yksi lapsi, pieni poika, nuorin sarjassa. Missä olivat nuo kuusi muuta? Hän ei ehkä tiennyt sitä itsekään. Joka aamu meni hän työhön erääseen kirjapainoon Sabot-kadun 3:ssa, missä hän oli taittajana ja nitojana. Paikalla täytyi olla kello kuudelta aamulla, talvisin siis jo paljoa ennen auringonnousua. Kirjapainon talossa oli koulu; tähän kouluun vei hän pienen, seitsenvuotisen poikansa. Mutta kun hänen piti mennä kirjapainoon jo kuudelta ja koulu avattiin vasta seitsemältä, täytyi lapsen odottaa tunnin verran pihalla ovien aukenemista; talvella siis tunti yön pimeydessä, paljaan taivaan alla. Lapsen ei sallittu tulla kirjapainoon, koska hän on siellä vaan vastuksina, kuten sanottiin. Työmiehet näkivät aamuisin ohikulkeissaan tuon pikku raukan kyyhöttävän katukivityksellä, unenpöpperössä ja joskus nukahtaneenakin johonkin nurkkaan korinsa päälle kyyristyneenä. Kun sade valui virtoina, kävi erään vanhan portinvahti-vaimon lopulta sääliksi. Hän toi pienokaisen kurjaan koppiinsa, jossa ei löytynyt muuta kuin viheliäinen vuode, rukki ja pari puutuolia, ja lapsi nukkui nurkkaan, pusertuen kissaa vastaan, jotta tulisi lämpimämpi. Kello seitsemältä aukeni koulu ja hän astui sisään. Näin kerrottiin Jean Valjeanille. Vain kerta hänelle asiasta puhuttiin; se oli silmänräpäys, välähdys, kuin äkkiä avattu akkuna näkemään niiden olentojen kohtaloa, joita hän oli rakastanut. Sitten kaikki sulkeutui jälleen. Hän ei enää kuullut mitään, eikä hän enää koskaan saanut heistä mitään tietää. Ei enää hiiskaustakaan kuulunut, hän ei nähnyt heitä enää koskaan, hän ei milloinkaan tavannut heitä, eivätkä he tämän surullisen tarinan varrella meidänkään näkyviimme palaja.
Tämän neljännen vuoden lopulla tuli Jean Valjeanin vuoro karata. Toverit auttoivat häntä, kuten on tapana tässä kurjuuden paikassa. Hän karkasi. Hän harhaili kaksi päivää vapaudessa pitkin maita, mikäli voimme vapaudesta puhua silloin kun on vainolainen kintereillä, kun täytyy pälyillä ympärilleen joka hetki, kun täytyy säpsähtää pienimmästäkin ryskeestä, kun täytyy peljätä kaikkea: taloa, josta savu nousee, ihmistä, joka osuu kulkemaan ohi, koiraa, joka haukkuu, hevosta, joka nelistää, tornikelloa, joka lyö tunnit, päivää, koska silloin näkee, yötä, koska silloin ei näe, tietä, polkua, pensasta, unta. Toisen päivän iltana saatiin hänet kiinni. Kolmeenkymmeneenkuuteen tuntiin ei hän ollut syönyt eikä silmäänsä ummistanut. Merioikeus tuomitsi hänelle tästä rikoksesta kolme vuotta pitennystä; siis kahdeksan vuotta yhteensä. Kuudentena vuotena tuli jälleen hänen vuoronsa karata. Hän käytti tilaisuutta, mutta ei ehtinyt oikein valmistaa pakoaan. Hän oli kuitenkin jo myöhästynyt nimenhuudosta. Kanuuna laukaistiin ja yöllä löysivät vartiomiehet hänet piilostaan rakenteilla olevan laivan emäpuun alta. Hän teki vastarintaa vahtisotilaille, jotka yrittivät häntä vangita. Karkausyritys ja vastarinta. Tämä asianomaisen lakikirjan jo ennalta aavistama yhteys rangaistiin viidellä vuodella pitennettyä vankeusaikaa, joista kaksi vuotta kaksinkertaisissa kahleissa. Kolmetoista vuotta. Kymmenentenä vuotena tuli hänen vuoronsa taas; hän yritti jälleen. Hän ei onnistunut nytkään paremmin. Kolme vuotta tästä uudesta yrityksestä. Kuusitoista vuotta. Vihdoin taas, luullakseni kolmantenatoista vuotena, yritti hän viimeisen kerran ja joutui koreasti kiinni, nautittuaan neljä tuntia vapauden riemua. Kolme vuotta näistä neljästä tunnista. Yhdeksäntoista vuotta. Lokakuussa v. 1815 pääsi hän lopultakin kaleeri-orjain vankilasta, minne hän oli tullut v. 1796 siitä syystä, että oli särkenyt yhden ruudun ja ottanut omin lupinsa yhden leivän.
Sopiva paikka pienelle välihuomautukselle. Tutkiessaan rangaistus-kysymystä ja lain tuomioita, tapahtuu jo toisen kerran, että tämän kirjan tekijä huomaa leivän varastamisen siksi lähtökohdaksi, mistä ihmiselämä alkaa suistua perikatoonsa. Claude Kerjäläinen varasti leivän; Jean Valjean varasti leivän. Englannin tilasto todistaa, että neljään varkauteen viidestä on Lontoon kaupungissa välittömänä syynä ollut nälkä.
Jean Valjean oli tullut rangaistusvankilaan nyyhkyttäen, vapisten; hän poistui sieltä turtuneena, tunteettomana. Hän oli tullut sinne epätoivoon vaipuneena; hän poistui sieltä yön synkeys sydämessä.