El gobernador los toleraba porque no tomaban carácter político. Allí lo que se temía era la política. Así se oía decir a algún lépero cuando le llevaban preso, dirigiéndose al público: «Me toman por político, y yo no soy mas que ladrón».
Aviraneta se distinguió pronto entre la cuadrilla de calaveras por su valor y su audacia. Una noche ataron a un policía a una reja; otra vez, varios amigos que habían ido a cazar patos silvestres a la luz de la luna, dieron una paliza terrible a unos cuantos ladrones que salieron a atacarles.
Contra esta partida de calaveras españoles y extranjeros se había formado otra de criollos, casi todos afiliados a la masonería.
Los criollos tenían más arraigo en el país, más partidarios entre la gente pobre, y también más prudencia. No iban ellos a atacar a los que consideraban intrusos, sino que enviaban a sus criados y deudos contra los españoles al grito de: «¡Dios y libertad! ¡Mueran los gachupines!»
Los aventureros españoles y extranjeros se defendían a fuerza de audacia. Los criollos contaban con la protección del ejército y del Gobierno. Aviraneta y sus amigos tenían relación con los bandidos que pululaban por el estado de Veracruz, a los que se llamaba salteadores del camino grande.
El capitán Gavilanes, íntimo de Aviraneta, había sido jefe de una partida de bandidos, y estaba dispuesto a volver de nuevo a serlo cuando se cansara de la vida tranquila de la ciudad. Gavilanes tenía amistades con lo peor del país: con los léperos, con los bandidos y con los indios totonacas.
Aviraneta, rodeado de tan excelentes camaradas, se distinguió pronto entre ellos y fué considerado como su jefe. Su tipo extraño, su mirada atravesada, el gusto de vestir de negro, le daban un aire verdaderamente siniestro.
Se comenzó a acumular sobre él aventuras e historias.
Muchos robos y asesinatos que se cometían en el camino de Veracruz a Méjico se atribuyeron a él y a sus camaradas.