Franciszek l’Olonnais i Czarny Korsarz przejęli dowództwo nad bitwą, wysunęli się na czoło szturmujących oddziałów i biegli co sił, chcąc oszczędzić swoim żołnierzom największych strat.
Hiszpanie stojący na straży tej twierdzy, która pełniła ważniejszą pod względem militarnym rolę i była lepiej uzbrojona, na widok rozpędzonych oddziałów otworzyli ogień i bronili się, jak tylko mogli. Jednak chyba już na próżno. Piraci wspinali się po pochyłej skarpie, rażąc ogniem pistoletów Hiszpanów. Niektórym — choć wielu z nich poległo — udało się dobiec do murów.
Nagle zabrzmiał donośny głos Czarnego Korsarza:
— Wilki morskie! Wycofujemy się!
Piraci, których położenie było skazane na porażkę — nie dysponowali ani drabinami, ani działami, Hiszpanie zaś stawiali zaciekły opór — porzucili swoje zamiary, po czym, nie wypuszczając broni z rąk, uciekli w stronę nieodległego lasu.
Obrońcy fortu, przekonani, że teraz z łatwością zdepczą wroga, zaniechali dalszego ostrzału z dział i szybko opuścili mosty zwodzone, otwierając drogę gotowej do natarcia piechocie. Na to tylko czekał Franciszek l’Olonnais.
Uciekający w udawanym popłochu piraci nagle wykonali w tył zwrot i rzucili się na przeciwnika.
Wzięci z zaskoczenia Hiszpanie, nie spodziewając się takiego zwrotu akcji, zaczęli się wycofywać. Po chwili jednak się zatrzymali i odwrócili w stronę przeciwnika, obawiali się bowiem, że jeśli nie spróbują zatamować wezbranej fali szturmu jeszcze przed murami, ta wleje się do środka twierdzy wraz z nimi.
Roztaczająca się przed Gibraltarem równina stała się teatrem krwawego starcia. Zarówno piraci, jak i Hiszpanie walczyli zajadle, wyżynając się nawzajem szablami i strzelając z pistoletów, podczas gdy obrońcy stojący na blankach fortu siekli żelastwem na chybił trafił, kosząc zarówno swoich ludzi, jak i przeciwnika. Hiszpanie, którzy pod względem liczebnym dwukrotnie przewyższali siły piratów, byli już bliscy odparcia przeciwnika i uratowania miasta, kiedy na pole walki wkroczył Michał Bask, któremu udało się przedostać przez puszczę porastającą góry.
To właśnie tych trzystu ludzi zdecydowało o losach bitwy.