Seuraavana vuonna, kun isoisäni joulun aikana kuoli, ei enää voinut olla puhettakaan minun koulunkäynnistäni, kun talon pönkä oli kaatunut. Mutta Ilmeen eversti ei ollut niitä miehiä, jotka tuumansa jättävät kesken. Hän kehotti vaan minua menemään kouluun. Minä kerroin hänelle kaikki meidän kotiasiat, mm. että isoisäni oli kuollut ja minun isäni, joka oli hiljainen mies, ei ole isäntänä talossa, vaan taloa hallitsee isoäitini tahdosta Tuomas-setäni, joka ei tahdo kustantaa minua kouluun. Tämän kuultuaan laittoi Tavast minut kotiini ja pyysi molemmat vanhempani luokseen hoviin. Mitä kaikkea hovin herra lienee heille puhunutkin, en tiedä, vaan sieltä tultuaan äitini itki, otti minut syliinsä ja sanoi: "Nyt rakas lapseni täytyy meidän erota. Hovin herra lupasi laittaa sinut Viipuriin kouluun omalla kustannuksellaan." Isänikin oli kovin liikutetulla mielellä, mutta ei puhunut mitään.
Seuraavana päivänä Tavast-herra puheli minulle kouluun menosta ja lupasi pitää huolen toimeentulostani koulussa. Evääksi antoi hän minulle ruplan rahaa, kolme reikäleipää ja kymmenkunta hailia, sekä suosituskirjeen serkulleen, Viipurin lääninkirjuri Tavastille, joka asui Viipurissa omassa talossaan Keisarinkadun varrella. Isäni puolestaan antoi ainoat rahansa, joita oli noin puolen ruplan verran, sekä lainasi naapurilta ruplan vielä lisää ja antoi ne minulle. Tuomassetäni, jolla meidän talon rahat olivat, ei antanut äyriäkään. Äitini saattoi minua ja kantoi eväspussiani Miettilään asti. Siinä jätimme hellät jäähyväiset ja itkimme erotessamme.
Näin läksin ulos avaraan maailmaan 3. päivänä syyskuuta vuonna 1856 ja astuin eväspussi selässä maantietä pitkin. Laitilan kylässä Jääsken pitäjässä, johon meiltä tulee lähes kolmekymmentä virstaa, olin ensimmäisen yön. Seuraavana aamuna olivat jalkani niin kovin kipeät, etten olisi mitenkään voinut kävellä, kun vanha kenkä oli hangannut jalkani rikki. Minun täytyi siis ottaa kengät kainalooni ja kävellä avojaloin Vuokselle asti. Lautassa sattui menemään yli minun kanssani eräs vanginkuljettaja joka meni tyhjillään Viipuriin, ja lupasi viedä minut kärryissään puolesta ruplasta. Minun oli pakko suostua tarjoukseen. Illalla olivat lyhdyt jo palamassa, kun saavuimme kaupunkiin. Katarinankadulla erosin kyytimiehestäni ja maksoin kyytipalkan. Ensimmäisen yöni Viipurissa vietin Ilmeen herran vävyn, kirjakauppias Alftanin kartanon renkituvassa yhdessä rengin ja luteiden kanssa.
Seuraavana aamuna menin Tavast-herran luokse ja annoin hänelle kirjeen, jonka luettuaan hän sanoi veljelleen: "Tässä on nyt se maisteri Häyhä, josta Ilmeen herra minulle kertoi." Minua harmitti ja hävetti moinen pilanteko, vaan ei auttanut mitään virkkaminen. Kortterin sain pesutuvassa, velvollisuudella kiillottaa joka aamu herran saappaat ja kalossit sekä lakaista kahdesti viikossa katuosa ja kartanomaa. Minä sain asua yksin siinä.
Samana päivänä vei Tavast-herra minut Rahvaankouluun, jota silloin pidettiin vanhassa gymnaasion kartanossa Ala- eli Karjakadun varrella. Koulun johtajana ja ensimmäisenä opettajana oli entinen ylioppilas Jaakko Innanen, toisena opettajana pastori Otto Vilhelm Segersvärd ja laulun opettajana Gustaf Saxbeck. Koulun kaitsijana ja johtokunnan esimiehenä oli lukion rehtori rovasti Carl Henrik Ståhlberg. Minut asetettiin toiselle osastolle kun osasin jo kirjoittaa ja laskea. Rahvaankoulussa olivat samat oppiaineet kuin kansakoulussa nykyään, paitsi voimistelua ja käsitöitä. Myöskin luettiin ruotsia. Uskonto ja matematiikka olivat mieliaineitani. Koulunkäyntini menestyi hyvin ja sain kiitettävät todistukset sekä ahkeruuteni palkinnoksi Lasten Suomettaren v. 1856.
Näinä aikoina alkoivat monet oppineet ja sivistyneet pitää huolta rahvaan sivistämisestä. Niiden joukossa oli Karl Alftan Horttanan ja Korpelan hovin omistaja Viipurin pitäjässä. Hän laittoi omalla kustannuksellaan alustalaistensa lapsille sunnuntaikoulun, jossa opetettiin sisälukua, uskontoa, kirjoitusta ja laskentoa sekä selitettiin päivän evankeliumi ja epistolatekstit. Koulua pidettiin kuusi tuntia joka sunnuntai. Tähän kouluun opettajaksi hankki herra Alftan konrahtori N.G. Coranderin. Corander, joka oli tullut minun tuntemaan, otti minut apulaisekseen Koprala-Horttanan sunnuntaikouluun ja maksoi minulle puolitoista ruplaa pyhältä sekä vapaan kyydin edestakaisin. Tämä tulo, niin vähäinen kuin se olikin, riitti minulle elatukseksi kouluajalla 1857.
Kesälupa-ajan 1857 opetin Ilmeen herran pyynnöstä hänen hovinsa palvelijoita joka sunnuntai kolme tuntia ja sain palkakseni 25 kopeekkaa ynnä päivällisen ja kahvit. Syksyllä kouluun lähtiessäni sain taas everstiltä matkarahaa. Sen jälkeen en enää koskaan saanut tavata isällistä holhoojaani, Tavast-herraa, sillä marraskuussa 1858 kuoli tuo jalo kansalainen ja hellä ihmisystävä. Vähää ennen kuolemaansa oli hän kaivannut minua ja kutsunut minua rakkaaksi pojakseen. Hänen kuollessaan olin Viipurissa koulussa ja sain kuulla asiasta vasta perästä päin.
Toukokuun alussa 1858 tarjosi rehtori Ahrenberg minulle opettajan paikan Tervajoki-Kiiskilän Rahvaankoulussa, jota kustansivat rehtorin rouva Ahrenberg, maanviljelijän ja tehtailijan rouva Bülzov, entisen kauppiaan rouva Krohn, vapaaherran rouva Mendt, everstinrouvat Mendt ja Rippas, kauppiaan rouva Seseman ja tohtorin leskirouva Örn, sekä neidit Mendt ja Seseman. Minä otin kiitollisuudella tarjouksen vastaan. Lauantai-iltapuolella opetin kaksi tuntia ja sunnuntai-aamupuolella kolme tuntia. Siitä maksettiin minulle palkkaa kolme ruplaa kerralta. Muun ajan sain jatkaa lukujani kaupungissa.
Kevätlukukauden loputtua pyysi rehtori Ahrenberg minua kotiopettajaksi hänen ynnä muiden herrasväen lapsille Vainikan hoviin Viipurin pitäjässä. Minä suostuin ja käytyäni kotona vanhempiani tervehtimässä, matkustin Vainikkaan. Rehtori A:n perhe oli ensimmäinen Viipurissa, jossa lapsilla oli äidinkielenä suomi. Siksi heitä lapsena kutsuttiin suomalaisilla nimillä. Ne lapset, joita opetin, eivät ehkedes osanneetkaan ruotsia. Lasten kanssa luin kolme tuntia jokaisena arkipäivänä. Lauantai-iltapäivänä ja sunnuntai-aamupuolella kävin opettamassa Tervajoen koulussa.
Tämä kesälupa-aika oli ihanin aika elämässäni. Ei mitkään leipähuolet, eikä muut elämän murheet rasittaneet mieltäni. Talossa minua kohdeltiin perheenjäsenenä ja sain rehtorin herrasväen kanssa käydä tervehtimässä Krohnin herrasväkeä Kiiskilässä sekä Rippasin, Bützovin, Mendtin ja Örnin herrasväkeä Tervajoella. Joka paikassa, paitsi Örnillä oli nuorta väkeä, joista jokainen äitinsä kielen ohella osasi suomea. Meillä nuorilla oli siis suomi seurakielenä. Vanhempi herrasväki puhui tavallisesti saksaa. Ruotsia ei kuultu seurassa milloinkaan. Sillä aikaa kun vanhempi herrasväki seurusteli sisällä oli meillä nuorilla omat leikkimme ja seuramme ulkona. Etenkin Kiiskilän suuri puutarha oli meillä mieluisana huvipaikkana. Väliin kävimme purjehtimassa, uimassa, metsästämässä ja urheilemassa. Sydämellinen ystävyys, jossa ei vilppiä ollut, yhdisti meidät. Ylioppilaat Julius Krohn, hänen veljensä Leopold sekä vänrikki Rippas ynnä rehtori Ahrenbergin pojat, kaikki me olimme hyviä toveruksia. Myös Lövgrenin poikien kanssa, jotka aina välistä kävivät Vainikassa, tutustuin pian. Niistä oli paras minun mielestäni Viktor Lövgren. Julius Krohn antoi minulle monta tarpeellista neuvoa ja ohjausta koulun pidossa, lainakirjaston hoidossa ym. Minä taasen puolestani selittelin hänelle itäsuomen murretta ja lausetapoja. Täten tulimme me herttaisimmiksi ystäviksi. Vielä yliopiston opettajana ollessaankin hän kävi minua tervehtimässä Viipurissa käydessään.