Jego śmierć była postanowiona, następnego dnia mieli go zabić, gdy nagle jeden z bandytów poznał go i nazwał po imieniu, jakie nosił niegdyś w Australii. Nędznicy chcieli zamordować Ayrtona, ale szanowali Ben Joyce’a.
Od tej chwili Ayrton stał się przedmiotem nieustannych nalegań i namów ze strony dawnych kamratów. Chcieli go przyciągnąć znowu do siebie, liczyli na niego, że pomoże im zawładnąć Granitowym Pałacem, dostać się do tej niedostępnej warowni i po wymordowaniu kolonistów zostać panami wyspy.
Ayrton opierał się. Dawny skazaniec, skruszony i przyjęty do grona ludzi uczciwych, raczej poniósłby śmierć, niż zdradził swoich towarzyszy.
Związany, zakneblowany i czujnie strzeżony, przeżył w tej jaskini cztery miesiące.
Tymczasem piraci, którzy odkryli zagrodę prawie zaraz po swoim wylądowaniu na wyspie, korzystali ze zgromadzonej tam żywności, ale w niej nie mieszkali. 11 listopada dwaj bandyci, zaskoczeni przybyciem kolonistów, strzelali do Harberta i jeden z nich po powrocie przechwalał się, że zabił któregoś z mieszkańców wyspy. Powrócił jednak sam. Towarzysz jego, jak wiemy, padł od sztyletu Cyrusa Smitha.
Można sobie wyobrazić niepokój i rozpacz Ayrtona na wieść o śmierci Harberta. Kolonistów było już tylko czterech, jak się wydawało, zdanych na łaskę piratów.
Wskutek tego zdarzenia przez cały czas, w którym choroba Harberta zatrzymywała kolonistów w zagrodzie, piraci nie ruszyli się ze swojej jaskini i nawet po spustoszeniu Płaskowyżu Pięknego Widoku nie uważali za rozważne, żeby opuścić tę kryjówkę.
Z Ayrtonem zaczęli się obchodzić jeszcze gorzej. Na jego rękach i nogach wciąż widniały krwawe ślady więzów krępujących go w dzień i w nocy. Każdej chwili oczekiwał na śmierć, której zdawało się, że w żaden sposób nie uniknie.
Tak było do trzeciego tygodnia lutego. Piraci, czatując wciąż na sprzyjającą okazję, rzadko opuszczali swą kryjówkę i zrobili zaledwie kilka wycieczek myśliwskich, bądź to w głąb wyspy, bądź też w stronę jej południowego wybrzeża. Ayrton nie miał żadnych wiadomości o swoich towarzyszach i stracił wszelką nadzieję, że jeszcze ich kiedyś zobaczy.
Wreszcie, osłabiony straszliwym traktowaniem, zapadł w głębokie otępienie i nic już nie widział ani nie słyszał. Od tej chwili, to jest od dwóch dni, nie mógł powiedzieć, co się działo.