Mutta yhä voimakkaammaksi kävivät hänen näyttelijä- ja runoilijataipumuksensa. Moni näytelmä, jota hän näki esitettävän, teki häneen hyvin syvän vaikutuksen. Innostuipa hän eräästä ilveilystä niin, että hän itse kirjoitti samaan malliin pienen näytelmän. Syvimmän vaikutuksen häneen kuitenkin tekivät erään Prüllerin kansanelämää kuvaavat näytelmät, joita siihen aikaan Wienissä näytettiin. Vielä etevänä kirjailijana muisteli hän hartaalla mielin Prüllerin karkeatekoisia näytelmiä. Näyttelijäksi alkoi hänen oma halunsakin yhä kiihkeämmin vetää. Ensi kerran koetti hän sillä alalla voimiaan muutamien toverien kanssa seuranäytelmässä. Hän tahtoi nyt yrittää sekä kirjailijan että näyttelijän tointa. Eikä hänen hyvä äitinsä vastustanut tätä tuumaa, etenkin kun hänen oli, Sallmayerin erotettua hänet, ollut mahdoton saada uutta paikkaa, ja lisäksi oli sairashuoneessa sairastanut kovaa lavantautia, ollen lähellä kuolemaa, joten kaikki toimeentulo tuntui ehtyvän. Heti parannuttuaan saikin hän paikan teaatterissa eräässä Wienin esikaupungissa, ja palkkaa 25 guldenia, s.o. noin 62 Suomen markkaa kuussa. Hänen hyvä äitinsä piti luonnollisena velvollisuutenaan seurata sinne poikaansa, ruveten hoitamaan hänen talouttaan.
Talvella 1859 alkoi kaksikymmenvuotias Anzengruber vaikean, raskaan aikakauden elämässään, alkoi kuljeksijaelämänsä aikana, jolloin matkustaminen oli taito. Hänen ensimäinen paikkansa oli hänen parhaimpansa. Ne olivat "kovia vuosia, nämä draamalliset oppivuodet" ja vaikka Anzengruber "parantumattomana haaveilijana niinkuin hypnotiseerattu aina oli valmis syömään raakoja perunoita päärynöinä ja keinuttelemaan tyynyjä lapsina", täytyi hänen kovan koetusajan perästä tulla huomaamaan, että "ihanteiden kuvitellussa maailmassa elämä on realistisempaa kuin koskaan missään muualla". Nuorukainen tosin piti "pahaa, joka koetti tunkea hänen elämäänsä, tietämättään kaukana itsestään, niinkuin nukkuva kärpäsiä. Tosin pyrki hän kaikesta typerästä, ontosta, tuskallisesta, joka hänen tukalassa tilassaan ahdisti häntä, hoitamalla sitä rikasta sisäistä aarretta, jonka hän luuli omistavansa. Ja seisoihan hänen äitinsä uskollisesti hänen rinnallaan, auttaen häntä selittämään tulevaisuuden unelmia, luottaen ja uskoen hänen kanssaan niiden toteutumiseen." Mutta hänen ei sallittu saada toteutetuksi "vähäistä kunnianhimoa, olla ensimäisenä kylässään ja säilyttää se paikka kaikista juonista huolimatta". Hänelle ei ollut suotu sitä onnea eikä luultavasti sitä kykyäkään, että hän näyttelijänä koskaan olisi voinut luoda jotain taiteellisessa suhteessa etevää. Vasta vähitellen selveni vasta-alkajalle, ettei hän näyttelijänä koskaan voisi kohota mestariksi.
Pikku teaatterissa, johon hän kuului, näyteltiin sekaisin uutta ja vanhaa, pilanäytelmiä ja ritarikappaleita, klassillisia draamoja ja talonpoikaisnäytelmiä, kaikenluontoisia kappaleita, vähässä ajassa saattoi tutustua koko sen ajan näytelmistöön. Yleisön vaatimukset eivät kuitenkaan olleet aivan pieniä, sillä läheisessä Wienissä olivat he tilaisuudessa aina väliin näkemään parasta sen ajan taidetta. Myöskin käyttivät pääkaupungin suuret näyttelijät usein joutopäiviään vierailuun etukaupungin pienessä teaatterissa. Se oli sen vuoksi monessa suhteessa hyvin opettavainen aika Anzengruberille. Eikä elämäkään vielä näyttänyt kovin synkältä. Toverien piirissä oli hän hyvin suosittu. Hän vielä toivoi voivansa edistyä näyttelijän uralla. Samalla hän ahkeraan suunnitteli näytelmiä, kuvaillen kerran vielä luovansa jotain suurta.
Ensimäisestä paikasta lähti hän Steyriin, jonne eräs toveri perusti oman seuran. Mutta se ei menestynyt ja se täytyi pian hajoittaa. Ja sitten alkoi vaeltaja-elämän kovuus täydellä todella. Ensimäisenä kesänä näytteli hän jo monessa eri kaupungissa Kroatiassa, Etelä-Unkarissa, Slavoniassa. Talvella v. 1862 kuului hän erääseen teaatteriseuraan Essegissä, kesällä 1863 Böslaussa, talvella samana vuonna Marburgissa. Monesti oli puute suuri, äiti ja poika olivat iloisia, jos aina oli kuivaa leipää; lihapala ja kurkku olivat juhla-ateria. Näyttelijänä hän ei edistynyt. Kotona hän kyllä tiesi, kuinka oli näyteltävä, mutta ei hän koskaan osannut panna sitä näyttämöllä käytäntöön. Eriluontoiset osat esitti hän kaikki samaan leveään malliin, roiston ja ihanneihmisen, palvelijan ja aatelismiehen kuvasi hän samalla tavalla. Eikä hänen pian annettukaan esittää muuta kuin palvelijan, vanginvartijan, oikeudenpalvelijan ja muita semmoisia osia. Sen ohella oli hänellä aina ahkeruutensa ja säännöllisyytensä vuoksi kirjastonhoitajan toimi. Toverien piirissä häntä suuresti kunnioitettiin siveellisen elämänsä ja liikuttavan hellän suhteensa vuoksi äitiinsä, häntä peljättiin ankaran ja oikean arvostelunsa vuoksi, hän oli rehellinen ja avonainen kaikkien suhteen, mutta läheinen vain harvoille.
Tähän aikaan Anzengruber eli L. Gruber niinkuin hän teaatterissa kutsui itseään, kirjoitti ensimäisen näytelmän, joka näyteltiin. Kun hän ensin tarjosi näytelmän seuransa johtajalle, ei tämä siitä ollut välittää, arvellen häntä yhtä huonoksi kirjailijaksi, kuin näyttelijäksi. Mutta luettuansa sen, hämmästyi hän ja sanoi, "ainahan se pienen kaupungin yleisöä voi miellyttää". Erään näyttelijän resetissä se sitten näyteltiinkin. Teaatteri tuli yleisöä täyteen, sillä odotettiin ilmeistä skandaalia. Mutta kävikin päinvastoin, näytös näytökseltä yltyi yleisön ihastus. Muuten on tämä näytelmä kokonaan kadonnut, eikä enää ole voitu saada selkoa sen sisällyksestäkään. Tulot näytelmästä sai resetin antaja, eikä se ollut ainoa, jonka hän tovereilleen omisti. Eräälle kirjoitti hän hauskoja runoja laulettaviksi, naisille muistovärssyjä, ja pilalehtiin ivarunoja, joihin hän itse piirusti kuvia.
Vuonna 1864 näytteli hän ainakin kahdeksassa eri kaupungissa. Sattuipa hänelle eräässä sekin onni, että hän oli paras joukossa. Mutta muuten hän ei menestynyt. Elämä oli niin täynnä surua ja masennusta, että kun hän monta vuotta sen jälkeen parempien päivien koitettua sattui matkustamaan samoilla seuduilla, tunsi hän vieläkin tuskallisesti, kuinka äärettömän paljon hän siellä oli kärsinyt ja kuinka vähän saavuttanut.
Kesällä v. 1865 oli hän taas kerran Böslaussa. Hänellä oli niin pienet tulot, ettei hän edes voinut asua kaupungissa, vaan asui maalla eräässä talonpoikaistuvassa. Sattuipa silloin kerran, että hän äärettömästi hämmästytti pikku kaupungin asukkaita ja toveriaan. He näkivät näet jörön vastoinkäymisten masentaman, synkän, yksinäisen miehen kävelevän ihanan nuoren hienon naisen kanssa, hänen, jota ei ennen oltu tuskin naisten parissa nähty. Nainen oli hänen lapsuudentuttavansa, entisen koulutoverin sisar, Mathilde Kammeritsch. Lapsena oli Anzengruber usein ollut hänen kodissaan. Silloin oli Ludvigilla ollut tapana kertoa hirmuisia kummitusjuttuja ja kaikkein peloittavimmassa kohdassa äkkiä sammuttaa lamppu, oikein tyttöjä säikyttääkseen. Muuten oli hän tavallisesti istunut hiljaa ja jo silloin sydämmessään ihaillut Mathildea. Kun hän nyt monen vuoden perästä taas satunnaisesti näki hänet, leimahti vanha rakkaus täyteen liekkiin. Eräässä runossa vertaa hän itseään piikkiseen kaktuskasviin, jonka aurinko saa yhdessä yössä kehittämään ihanan kukan — rakkauden kukan, joka on niin outo sille itselleenkin, ettei se ole tuntea itseään. — Mutta ihana Mathilde matkusti pian pois. Anzengruber lähetti kuivaan muotoon mutta hillittyä intohimoa ilmaisevan kosimakirjeen hänen perästään. Hän ei saanut mitään vastausta. Ei siksi ettei Mathilde uskaltanut liittää kohtaloaan köyhän näyttelijän kohtaloon, vaan siksi, ettei hän häntä rakastanutkaan. Mutta Anzengruber ei voinut koskaan häntä unhottaa, vielä kuolinvuoteellaan hän puhui hänestä ja sanoi kuinka onnellinen hänen elämänsä olisi ollut, jos hän olisi voinut yhtyä häneen. Tämän tapauksen jälkeen jäi Anzengruber entistäänkin vielä yksinäisemmäksi viettämään surullista elämäänsä.
Näyttelijäalalla hän ei edistynyt vaan meni pikemmin alaspäin. Eräästäkin teaatteriseurasta lähetettiin hänet heti pois kelpaamattomana. Nyt sai hän jo tyytyä "apulaisnäyttelijän" arvoon ja toimeen. Pikku näytelmiä hän kirjoitteli tilauksen mukaan. Kerrankin oli hänen seuransa johtaja saanut Parisista uuden amatsoonipuvun, yhdessä yössä piti hänen valmistaa yksinäytöksinen näytelmä, jossa tätä pukua sopi käyttää. Palkaksi sai hän siitä 4 guldenia 50 kreutseriä. Toisen kerran kirjoitti hän sanat silloin vielä tuntemattoman, mutta myöhemmin suurta mainetta saavuttaneen Karl Millöckerin operettiin. Siitä hän sai kokonaista 20 guldenia. Kirjoitti hän vielä toiseenkin operettiin sanat, Offenbachin irvikuvamalliin. Sitä ei hyväksytty koskaan näyteltäväksi. Anzengruber ei sitä paljon surrut, sillä ei hän siitä itsekään pitänyt.
Huolestuttavampaa oli kun hän kadotti pienenkin paikkansa, kun teaatteri, jossa hän oli, teki vararikon. Nyt ei hän saanut enää muuta paikkaa kuin statistin, s.o. mykän sivuhenkilön, paikan eräässä kesäteaatterissa. Palkkaa ei hänellä ollut senkään vertaa kuin hyvällä päiväläisellä. Talvella 1869 ei hänellä ollut mitään paikkaa. Äiti ja poika asuivat silloin kurjassa asunnossa Wienissä ja saivat tehdä tuttavuutta suurimman puutteen kanssa. Hätä oli niin suuri, että, niinkuin hän itse sanoo, hän aavisti sen demoraliseeraavan, turmelevan vaikutuksen. Kaikki omaisuus, vanhat perhesormuksetkin oli myöty tai viety panttilaitokseen. Pientä palkkaa vastaan kirjoitti hän silloin tällöin pilalehteen nimeltä "Kikeriki". Onnellinen oli hän jos hänet joskus kutsuttiin apumieheksi erääseen ravintolasta ravintolaan kulkevaan teaatteriseuraan, tai jos häneltä joku kansanlaulaja tilasi kuplettia.
Kerran meni hän erään Wiesberg nimisen miehen luo, joka toimitti yksinäytöksisiä pilanäytelmiä pikkuseuroille. Pistäen vihon hänelle käteen sanoi Anzengruber: "olen kirjoittanut yksihenkilöisen näytelmän huvinäytelmän esittäjää varten, olisi hauska kuulla toisenkin mielipidettä siitä. Lukekaapas se." Wiesberg otti käsikirjoituksen kotiinsa ja lukiessaan hämmästyi siitä valtaavasta neronvälkkeestä, joka siinä ilmeni. Se oli nimeltä "Politillinen naurunherättäjä", ja oli niin vapaasti kirjoitettu, että Wiesberg antaessaan sen takaisin sanoi: "Se on merkillisintä mitä minä koskaan olen tähän lajiin lukenut ja kuullut, mutta tehän unohdatte, että Itävallassa on sensuuri. Kolme vuotta vankeutta saisi se, joka semmoista uskaltaisi näytellä." Anzengruber pudisti epäillen päätään ja lähetti käsikirjoituksensa sensuurivirastoon, josta hän sen pian sai takaisin varustettuna päällekirjoituksella "ei saa näytellä". Loukkaantunut runoilija repi teoksensa palasiksi ja sanoi: "Mainion käsityksen minä todellakin olen saanut painovapaudesta, nyt minä en enää eläissäni kirjoita riviäkään."