Słowa Eliszy podziałały negatywnie na uczących się chłopców. Porzucili uczelnię, zostawili księgi i przestali się uczyć. Opowiadają też, że Elisza miał usta pełne greckich pieśni. Zdarzało się, że gdy siedział w bet ha-midraszu, często wypadały mu zza pazuchy heretyckie książki.
Jak to się stało, że Elisza zszedł z prostej drogi? Opowiadają, że pewnego razu nauczał w dolinie Ginosar. Którejś soboty zauważył Żyda, który wszedł na wierzchołek palmy i dobrał się do gniazda ptaków. Wygarnął z niego matkę piskląt i spokojnie zszedł z drzewa. W wieczór zaś kończący sobotę zobaczył drugiego Żyda, który wspiął się na drzewo i odpędziwszy najpierw matkę, jak nakazuje Tora, zabrał pisklęta. Zaledwie jednak zszedł z drzewa i dotknął ziemi, ukąsił go jadowity wąż. śmierć była natychmiastowa. Zastanowił się Elisza:
— Co to znaczy, że Tora nakazuje: „Odeślij matkę i dzieci możesz wziąć. Za to dobrze ci się będzie wiodło i długich lat dożyjesz”.
Jak ten werset ma się do tego Żyda? Czy dobrze mu się wiodło? Czy dożył długich lat? Co o tym sądził rabi Akiwa, Elisza nie wiedział. Ten zaś powiedział: „Dobrze ci się będzie wiodło na świecie, który jest arcydobry i dożyjesz długich lat w świecie wieczności”.
Inni ludzie znów opowiadają, że Elisza zobaczył biegnącą świnię z językiem Chucpita-Meturgemana w pysku, krzyknął wtedy:
— Czy język ust, z których sypały się słowa niczym perły, ma lizać kurz?
Po tym wydarzeniu Elisza odstąpił od żydostwa i wtedy zaczęto go nazywać Acher. Stał się inny, obcy.
W jakiś czas potem Elisza ben Awuja zachorował. Na wieść o jego chorobie przyszedł go odwiedzić jego były uczeń rabi Meir. Zaraz po przekroczeniu progu mieszkania rzekł do Eliszy:
— Zawróć ze złej drogi!
— Nie wiem, czy w niebie mnie przyjmą. Czy nie jest aby za późno?