Matkalla laivan kapteeni olisi mielellään päästänyt Kolumbuksen kahleista, mutta siihen Kolumbus ei suostunut, ja kahleissa hän astuikin maihin laivasta Cadizissa marraskuussa 1500. Kuningaspari lausui heti syvän paheksumisensa Kolumbuksen vangitsemisen johdosta, hänet vapautettin, ja hänelle annettiin kaksituhatta tukaattia, jotta hän saattoi arvonsa mukaisesti matkustaa Granadaan kuningasparin luo. Entistä ylivaltaa uudessa maanosassa hän ei kuitenkaan enää saanut.
Tämä tapaus on antanut aiheen paljoon paatokselliseen puheeseen, mutta Madariaga ei ole tyytyväinen sellaiseen lavastukseen. Hän sanoo, että Ferdinand ja Isabella eivät olleet epäkiitollisia hirviöitä, vaan järkeviä ja aikaansa verrattuina lempeitä hallitsijoita, sekä oikeamielisiä että realistisia. Bobadilla oli rehellinen tuomari. Kun hänen toimintansa tuntuu liikanaisen karkealta, näyttää siltä kuin syytökset »amiraalia» ja hänen veljeään, »adelantadoa», vastaan olisivat olleet hyvin perusteltuja. Pohjaton mustuus on mitä harvinaisinta. Sellaisissakin ihmispedoissa kuin piispa Pierre Cauchonissa ja sir Hudson Lowessa on huomattu olleen inhimillisiä piirteitä muutenkin kuin anatomisesti; eikä Bobadilla ollut ensinkään ihmispeto.
Bobadilla ei pystynyt hallitsemaan siirtokuntaa, missä kurittomuus kasvoi ja mielivalta alkoi rehoittaa. Saarelle lähetettiin uusi ylituomari ja hallinnonhoitaja, ja Bobadilla sai käskyn palata Espanjaan. Laivastossa, jossa hän matkusti, oli mukana myös Kolumbusta vastaan kapinoinut Roldan vankina, ja laivasto tuhoutui melkein kokonaan. Siitä tuli perille vain yksi alus, jossa kuljetettiin Kolumbuksen omaisuutta; se oli vapautettu Bobadillan toimeenpanemasta takavarikosta. Bobadilla ja Roldan eivät olleet siinä aluksessa.
Vielä neljännen kerran Kolumbus lähti meren taakse toukokuussa 1502. Hänellä oli neljä pientä laivaa ja sataviisikymmentä miestä, veljensä Bartolomé ja kolmitoistavuotias poikansa Fernando. Nyt matka kesti Kanarian saarilta Martiniquelle yhdeksäntoista päivää. Españolan saaren käskynhaltija Ovando ei sallinut Kolumbuksen nousta laisinkaan maihin, ja Kolumbus jatkoi matkaansa Kuuban ja Jamaikan eteläpuolitse Hondurasin rannoille. Hän etsi sieltä salmea, josta pääsisi Intian mereen. Sellaista salmea ei tietenkään löytynyt, mutta Veraguan tienoilla hän totesi kannaksen sisäosissa huomattavia kulta-alueita. Hän ryhtyi perustamaan siirtokuntaa, mutta oli vähällä kaikkineen joutua tuhoon intiaanien salahyökkäyksen johdosta. Kahdella aluksella hän vihdoin pääsi kesäkuussa 1503 Jamaikan saarelle, jolloin laivat vuotivat niin kovasti, että ne oli ohjattava matalikolle: niiden kannelle rakennettiin asuttavia majoja.
Heillä ei ollut työkaluja uusien laivojen rakentamiseen, ja ruokaakin he saivat vain vaihtokaupalla Jamaikan ystävällisiltä alkuasukkailta. Kaksi merimiestä lähti amiraalin pyynnöstä muutamien intiaanisoutajien keralla 190 kilometrin päässä olevaan Españolaan, kertomaan asiasta Ovandolle. Uhkarohkea yritys onnistui sikäli, että miehet pääsivät perille, mutta Ovando ei lähettänyt pyydettyä apua.
Tukalassa asemassaan Kolumbus sairastui, miehet alkoivat mellastaa saaressa ja suututtivat alkuasukkaat. Kolumbus pelastui kuunpimennyksen avulla. Hän tiesi sen ennakolta Regiomontanuksen »Ephemerideistä» ja lähetti intiaanipäällikkölle sanan, että Jumala on suuttunut heihin ja päätti rangaista heitä, koska he näännyttivät nälkään hänen valittunsa; vihansa merkiksi Jumala pimentäisi kuun. Kun kuu pimeni Kolumbuksen ennustamalla hetkellä, kantoivat hätääntyneet intiaanit Kolumbukselle ruokatarpeita, ja Kolumbus lupasi, että jos he vastakin huolehtisivat haaksirikkoisten muonituksesta, niin Jumala antaisi kuun paistaa.
Kun kahdeksan kuukautta oli kulunut avunhakijain lähdöstä eikä Ovandolta kuulunut apua, syntyi tyytymättömän miehistön keskuudessa aseellinen kapina, jonka Bartolomé Kolumbus kukisti. Ja sitten—eräänä huhtikuun päivänä 1504—näkyi merellä laiva, josta souti vene haaksirikkoisten luo. Siinä tuotiin Ovandolta viinipullo, paisti ja—kirje, ettei ollut joutilaita laivoja haaksirikkoisten kuljettamiseen.
Mutta Ovandon häpeällinen teko tuli Españolan siirtokunnassa tietoon, ja siirtolaisten suuttumusta peläten Ovandon oli vihdoin kesäkuun lopulla lähetettävä laiva noutamaan haaksirikkoisia, samaan aikaan kuin avunhakijatkin olivat lopulta saaneet hankituksi aluksen samaan tarkoitukseen. Nämä kaksi alusta luovivat kolme viikkoa kovassa vastatuulessa, ennenkuin pääsivät Españolaan. Sieltä Kolumbus kuukauden kuluttua lähti veljineen ja poikineen Espanjaan.
Valtameren amiraali ja Intian varakuningas oli nyt köyhä mies, sillä viimeiset varansa hän oli antanut merimiesten palkoiksi, joita hallitus ei suostunut maksamaan. Hän saapui kotimaahan marraskuun 26. päivänä.
Kuningatar Isabella oli kuollut muutamia päiviä ennen Kolumbuksen paluuta. Kuningas Ferdinand ei ollut koskaan ollut ihastunut Kolumbukseen eikä tahtonut kuulla puhuttavan Españolan hallinnon luovuttamisesta Fernando Kolumbukselle, niinkuin isä oli toivonut. Siellä piti yliherruutta julma Ovando, toimeenpannen verilöylyjä alkuasukkaiden keskuudessa, saadakseen heidät raatamaan kullan hankkimiseksi Espanjalle. Ja kun hän oli hävittänyt sen saaren 800.000 henkeä käsittävän väestön melkein sukupuuttoon, hän sai Espanjan hallitukselta luvan hankkia lisää orjia Bahama-saarilta.