Hän oli antanut Quasimodolta saamansa vihellyspillin olla permannolla. Se ei kuitenkaan estänyt Quasimodoa ensi päivinä silloin tällöin näyttäytymästä. Esmeralda teki voitavansa, ettei vallan ilmeisellä vastenmielisyydellä kääntyisi poispäin, kun Quasimodo toi hänelle ruokakorin ja vesiruukun, mutta tämä huomasi pienimmänkin sen luontoisen liikahduksen, ja silloin hän meni surullisena matkoihinsa.
Kerran hän tuli juuri, kun tyttö hyväili Djalia. Hän seisoi hetken mietteissään ja katseli tuota somaa ryhmää, jonka vuohi ja mustalaistyttö muodostivat. Vihdoin hän sanoi pudistaen raskasta ja pörröistä päätään:
— Onnettomuuteni on, että vielä liiaksi muistutan ihmistä. Toivoisin olevani kokonaan tuon vuohen kaltainen eläin.
Tyttö katsahti häneen hämmästyneenä.
Quasimodo vastasi tuohon katseeseen:
— Voi! tiedän kyllä minkä tähden.
Ja hän meni matkoihinsa.
Erään toisen kerran hän ilmestyi kammion kynnykselle, jonka yli hän ei koskaan astunut, Esmeraldan parhaillaan laulaessa vanhaa espanjalaista romanssia, jonka sanoja hän ei ymmärtänyt, mutta joka oli jäänyt hänen mieleensä siksi, että mustalaiseukon oli ollut tapana nukuttaa häntä sillä, kun hän oli pieni. Nähdessään nuo kauheat kasvot, jotka ilmestyivät hänen eteensä hänen laulaessaan hän vaikeni äkkiä säikähdyksen elein. Onneton kellonsoittaja lankesi polvilleen kynnykselle ja rukoilevasti katsoen risti karkeat, muodottomat kätensä.
— Oh! hän sanoi murheellisena, — vannotan teitä, jatkakaa, älkää ajako minua pois.
Tyttö ei tahtonut tuottaa hänelle tuskaa ja jatkoi vapisten lauluaan. Vähitellen hänen kammonsa kuitenkin haihtui, ja hän antautui kokonaan laulunsa laahustavan sävelen surumielisen tunnelman valtaan. Quasimodo oli yhä polvillaan kädet ristissä kuin rukoillen tarkkaavasti, tuskin uskaltaen hengittää ja katse mustalaistyttöön kiinnittyneenä. Voisipa sanoa, että hän kuunteli tytön laulua hänen silmistään.