Usein on myöskin väitetty, että koko Ida Aalbergin olemus oli etelämainen ja ainakin hyvin epäsuomalainen. Hjalmar Neiglick väitti jo 1880-luvulla sitä, ja myöhemmin toistettiin samaa monessa yhteydessä. Jo Ida Aalbergin ulkomuotokin on monen mielestä todistanut hänen suomalaista sukuperäänsä vastaan: on katsottu sen edustavan enemmän ruotsalaista kuin suomalaista tyyppiä.
Oliko Ida Aalbergin suonissa vieraan kansan verta? Kun Maila Talvio näki hänet ruumiina, vailla kaikkia mahdollisia naamioita, vailla kaikkea mahdollista teennäisyyttä, hän sanoi saaneensa mitä elävimmän vaikutelman siitä, että kaiken loiston ja hienostuneisuuden takana Ida Aalbergin eläessäkin oli ollut varsin tyypillinen hämäläinen nainen.
Ida Aalbergin sukupuu ei ole selvä, mutta se, mikä tiedetään, ei anna paljoakaan tukea otaksumille, että hänessä olisi ollut vierasta verta.
Ida Aalbergin lahjakkuus ja eräät hänen luonteenominaisuutensa viittaavat lähinnä isänperintöön. Mutta isänpuolelta ei hänen sukujuuriaan voi täydellä varmuudella seurata kuin varsin vähän matkaa.
Hänen isänsä äiti oli Pälkäneeltä kotoisin ja Liisa Eerikintytär nimeltään. Tämä oli köyhien vanhempien lapsi ja joutui jo nuorena maailmalle. Kotipitäjästään hän lähtee Vanajaan ja Hämeenlinnaan ja toimii sitten palvelijattarena tässä kaupungissa ja sen ympäristöllä olevissa pitäjissä. Asiakirjatiedoista päättäen Liisa Eerikintyttären elämä on ollut suorastaan suuripiirteisen surkea. Hän saa kokonaista seitsemän aviotonta lasta. Ensimmältä hän ansaitsee elatuksensa olemalla imettäjänä herrasperheissä, hänen omat lapsensa joutuvat luonnollisesti kunnan niskoille. Myöhemmin käyttävät kirkonkirjat Liisa Eerikintyttärestä nimitystä pesijätär. Suurena tautivuonna 1853 hän kuoli koleraan.
Liisa Eerikintyttären kolmannen pojan, Antin, isästä on ainoana virallisena osviittana se merkintä, jonka kasteen toimittanut pappi on tehnyt kirkonkirjan marginaaliin lapsen nimen kohdalle. Nähtävästi äidin puheitten perusteella on siihen kirjoitettu nimi Ahlberg ja sen oheen kysymysmerkki.
Tämä maininta voi tarkoittaa vain yhtä henkilöä, varatuomari ja oikeusneuvos Anders Johan Ahlbergia. Liisa Eerikintytär oli seitsemäntoistavuotiaana tyttönä Hämeenlinnaan saavuttuaan saanut ensimmäisen palveluspaikan nahkuri Matti Ahlbergin, varatuomarin isän, perheessä, mutta ennen kolmannen poikansa syntymistä, joka tapahtui 5/X 1832, hän oli monet kerrat saanut vaihtaa palveluspaikkaa.
Varatuomari Ahlbergista on muistitietona säilynyt, että hän oli hyvin musikaalinen henkilö. Hän oli hyvä viulunsoittaja ja joutui raivoihinsa, jos kuuli huonoa musiikkia. Pihallaan hän ei kärsinyt posetiivinvääntäjää. Hyväsydäminen ja antelias hän myöskin kuuluu olleen. Hämeenlinnan nuoret tytöt menivät setä Ahlbergin luo, jos tahtoivat päästä teatteriin tai konserttiin. Lisäksi kerrotaan, että hän asianajajana ei milloinkaan ottanut ajaakseen likaisia juttuja. Toimiessaan Hauhon tuomiokunnan v.t. tuomarina hän jollakin virkamatkalla ankarasti vilustui ja kuoli yhdeksän viikkoa sairastettuaan, 25/VI 1860.
Liisa Eerikintyttären kolmas poika sai saman etunimen kuin varatuomari Ahlberg. Se on kuitenkin siksi yleinen nimi, ettei yhtäläisyys sinänsä todista suuriakaan. Merkillisempää on, että hän myöhemmin Hämeenlinnasta pois muutettuaan otti liikanimen, joka vain vähän eroaa varatuomari Ahlbergin liikanimestä. Jos varatuomari Ahlberg oli Liisa Eerikintyttären pojan isä, joutui Ida Aalberg myöhemmin Tanskassa ja Norjassa kulkemaan ihmisten puheessa iso-isänsä nimellä. Näissä maissa muistetaan kyllä vieläkin suuri näyttelijätär Ida »Åhlberg» [aa luetaan tanskan kielessä o:ksi]. Isoisältään voisi Ida Aalbergin silloin sanoa perineen taiteilijalahjat, herkän hermoston ja vilunarkuuden. Miksipä ei tämän suhteen valossa voisi puhua myöskin veressä peritystä kulttuurista!
Oltuaan kasvatettavana makasiinimittari Antti Girsin perheessä Liisa Eerikintyttären poika Antti jätti 1847 synnyinkaupunkinsa ja siirtyi Janakkalan pitäjään. Siellä hän sai paikan eräässä seudun monista aateliskartanoista, Iso-Hiidessä, jonka tuohon aikaan omisti entinen maaherra Anders Gustaf Langenskiöld. Todennäköisesti Anttia ensin käytettiin jonkinlaisena asiapoikana kartanossa, mutta hän sai siellä myöskin opetusta, joka ei tule kaikkien osaksi. Kartanon neidit, maaherran tyttäret, olivat hyvin mieltyneet hänen reippauteensa ja hyvään päähänsä. Heidän sanotaan opettaneen häntä lukemaan ja kirjoittamaan. He teettivät hänellä myös puutarhatöitä Iso-Hiiden suuressa puutarhassa.