29 июля он напал на лодки, проходившие мимо кораблей. Много островитян было перебито. Моряки захватили четыре джонки, взяли в плен шестнадцать мужчин и трех женщин. В числе пленных был командующий всем флотом раджи. Раджа просил отпустить пленников, обещая в свою очередь освободить трех испанцев, которых он задержал в городе, когда началось морское сражение.
Но Хуан Карвайо, рассчитывая получить за пленников большой выкуп, отказался их освободить и вновь покинул товарищей о беде.
Лишь отойдя от Борнео, Карвайо узнал, что, вместе с другими моряками, задержанными раджой Брунея, на берегу остался его сын от индианки из Рио-де-Жанейро.
Вечером, втайне от остальных моряков, Карвайо договорился с пленным адмиралом раджи. Тот послал на берег за богатым выкупом, и ночью, когда все спали, Карвайо втихомолку отправил адмирала на берег.
Опять пришлось поспешно убираться из гавани. Корабли пошли вдоль берега Борнео. Карвайо искал удобного места для стоянки. Теперь он не стеснялся и при случае не гнушался пиратством, нападая на проходящие мелкие суда.
Однако пиратские «подвиги» не спасали от голода. В море лодки и джонки встречались не часто. К тому же испанцы не всегда находили на них продовольствие. Грабя беззащитные лодки, Карвайо боялся приставать к населенным берегам. Между тем голод все сильнее давал себя чувствовать. Кроме того, корабли очень нуждались в ремонте, особенно «Тринидад», который, налетев на мель, дал течь.
Наконец, добрались до небольшой, но укромной бухты, где Карвайо приказал бросить якорь. Начали ремонтировать корабли. Эта работа доставила морякам немало мучений: приходилось рубить деревья в густом тропическом лесу и тащить их к кораблям. Лес изобиловал колючим кустарником, а большинство моряков работало босиком, потому что взятая с собой из Испании обувь давно износилась.
Испанцы ловили рыбу и черепах, добывали устриц, охотились на лесных птиц. Многие пробовали питаться незнакомыми плодами и заболевали; несколько человек умерло. Починка кораблей подвигалась медленно. Карвайо не умел организовать работу. Моряки его не любили за алчность, за жестокость, за то, что он, не задумываясь, бросал товарищей в беде.
В конце концов недовольные Карвайо моряки собрались на сходку. Карвайо пытался угрожать своим врагам, но ему не дали говорить. Постановили сменить Карвайо, а по прибытии в Испанию привлечь его к суду. Капитаном «Тринидада» избрали Гонсало-Гомеса де Эспиноса, а капитаном «Виктории» — Себастиана Эль-Кано.
