Mutta Antti Ahlberg, sillä tällä nimellä hänet nyt tunnettiin, ei kaikessa hyväpäisyydessään ollut mikään mallinuorukainen. Jo lapsena hän oli ollut niin villi ja raju, että ikäkumppanit pelkäsivät häntä. Ja jo nuorukaisiällä hänessä ilmenivät ominaisuudet, jotka painoivat leimansa hänen elämänjuoksuunsa aina myöhäiseen vanhuuteen asti. Nämä ominaisuudet olivat hyvin vahva aistillisuus ja taipumus kevytmielisiin kujeihin, hummailuun ja juopotteluun.
Iso-Hiidessä hän osasi säikyttää suosijoitaan, Langenskiöldin neitejä, karkealla maalaiskomiikalla. Hänen neljä vuotta talossa oltuaan hänet erotettiin palveluksesta siksi, että oli luvattomasti Langenskiöldin mustalla parivaljakolla kyyditellyt Turengin kylän piikoja. Työttömäksi jouduttuaan Antti Ahlberg ensin aikoi siirtyä Helsinkiin, koskapa ehti jo ottaa muuttokirjankin. Nämä tuumat raukesivat kuitenkin, kun hän sai paikan varatuomari Nils Johan Spåren omistamassa Leppäkosken kartanossa.
Varatuomari Spåre oli vasta vähän aikaisemmin muuttanut Janakkalaan ja ostanut Leppäkosken. Hänen sanotaan rakastaneen iloista elämää ja muhkeita pitoja. Lapsia hänellä ei ollut, mutta paitsi vaimoaan oli hän Tuusulasta kartanoon muuttaessaan tuonut mukanaan pari palvelijatarta. Vuoden 1852 alussa nuori Antti Ahlberg meni avioliittoon tuomari Spåren palvelijattaren Amanda Sofia Strömforsin kanssa. Samoihin aikoihin, kuten kirkollinen rikoskirja tietää kertoa, häntä sakotettiin ensikertaisesta salavuoteudesta. Seuraavana vuonna Amanda Sofia Ahlberg kuoli lapsivuoteeseen.
Leppäkosken kartanossa Antti Ahlberg oli monenlaisissa toimissa. Kirkonkirjoissa hän ensin on »renki, nuorimies Anders Ahlberg», tai »palvelija Anders Ahlberg», sitten, vähäistä myöhemmin, häntä jo nimitetään rakennusmestariksi. Vaimon kuoleman yhteydessä 1853 hänet mainitaan puutarhuriksi. Varmuudella tiedetään myöskin, että tuomari Spåre on käyttänyt häntä kuskina. Todennäköisesti Antti Ahlberg oli Leppäkosken kartanon »faktotum», kaiken tekijä.
Tuomari Spåren kuskina Antti Ahlberg nähtävästi tutustui naiseen, josta tuli hänen toinen vaimonsa. Agneta Charlotta Lindroos oli taloudenhoitajattarena vuorineuvoksetar Idestamin omistamalla Lahdentaan tilalla Tyrvännön pitäjässä. 1854 Antti Ahlberg meni vihille Charlotta Lindroosin kanssa. Morsiamen naittajana ja kasvatusisänä esiintyi tuomari Spåre.
Tästä avioliitosta syntyi seitsemän lasta. Yksi lapsista oli Ida
Aalberg.
Äidin puolelta Ida Aalbergin suku johtaa Tuulokseen. Äidin isoisä, Krister Laurinpoika, oli vuokraaja. Hänellä oli poika, vouti Aleksander Lindroos, joka 1836 siirtyi ajuriksi Hämeenlinnaan. Jo Tuuloksessa Aleksander Lindroos oli ottanut aviokseen Pernajassa syntyneen Maja Stina Veckmanin., Toivoniemen kartanon taloudenhoitajattaren. Tästä avioliitosta syntyi kolme tytärtä, joista nuorin oli Agneta Charlotta, Antti Ahlbergin vaimo.
Charlotta Lindroos oli syntynyt 21/V 1829 ja oli siis jonkin verran miestään vanhempi.
Kaikki Lindroosin tyttäret puhuivat sujuvasti ruotsia. Heidän äitinsä oli kotoisin ruotsalaisesta seudusta ja oli opettanut kielensä lapsilleen. Ruotsin kielen taitoisina he saivat edullisia palveluspaikkoja.
1850-luvun lopulla tuli Suomen ensimmäisen rautatien rakentaminen Helsingistä Hämeenlinnaan päiväjärjestykseen. Leppäkosken kartanossa vieraili usein ratainsinöörejä, joiden tuttavuuteen myöskin Antti Ahlberg pääsi. Rautatie alkoi vetää häntä puoleensa, niinkuin myöhemmin elämässä häntä vetivät kaikki uudet pyrkimykset, yritykset ja aatteet. Ennen pitkää hän luopui kartanon palveluksesta ja liittyi rautatien rakentajiin. Ymmärryksellään ja vilkkaalla huomiokyvyllään Ahlberg pian pääsi ratainsinöörien suosioon. »Hän käsitti kaikki yhdestä sanasta, hän ei ollut ollenkaan sellainen kuin suomalaiset miehet yleensä ovat», kertoi hänestä myöhemmin eräs rataa rakentamassa ollut insinööri. Ahlbergilla oli kokemusta rakennustöissä, olihan hän jo kartanon palveluksessa ollessaan ollut »rakennusmestari», ja hän oli tottunut seurustelemaan ruotsinkielisten herrojen kanssa. Jonkun ajan kuluttua hänet nimitettiin neljännesmieheksi, s.o. työnjohtajaksi, ja hän sai suoritettavakseen vaikeita luottamustehtäviä.