Da lungo tempo il paese delle favole di Circe fu fissato su questo promontorio che invero, con la sua forma nettamente insulare, i suoi folti boschi, i suoi odorosi declivii, le sue grotte di stalattiti sul mare, costituiva un ambiente, per lo meno non disadatto, a far sorgere una favola magica di antichi navigatori. Il monte Circeo era nei tempi preistorici veramente un'isola, come oggi le isole di Ponza e come un tempo il Soratte. A poco, a poco e certamente molto prima dei tempi dell'Odissea, questa isola si riunì alla terra e divenne un capo. Gli antichi geografi riferiscono che su di esso giacque una città col tempio di Circe e con un altare a Minerva, dove era conservata la coppa di Circe in cui Ulisse aveva bevuto. Anche la tomba di Elpenore vi si mostrava, con i mirti che vi erano germogliati sopra.
La città di Circei, o Circeo, era volsca, come Anxur, oggi Terracina. I Romani la conquistarono e vi stabilirono una colonia che non fu certo mai grande e potente, ma per la sua posizione fu una delle più belle piazze forti ed inoltre un gradito soggiorno. Lucullo vi pose i suoi vivai e v'edificò una villa e Lepido, quando dovè ritrarsi dal consolato, venne qui a dimorare.
L'antica città scomparve in un'epoca incerta; forse fu distrutta dai Goti. Sulle sue rovine sorge l'attuale San Felice, costruita probabilmente intorno all'antica fortezza dalle mura ciclopiche. Questa Arx Circaea o Rocca Circeji, si trova spesso menzionata nei documenti e nelle storie medioevali; solo molto più tardi compare il nome di San Felice. In questo luogo nel secolo viii era anche un vescovato. La fortezza di Circeo era considerata come la più importante fra quelle della spiaggia pontina. Si sforzarono di acquistarne il possesso la città di Terracina, i conti di Gaeta e quelli di Fondi; ma essa riconobbe la sovranità del Pontefice.
Al principio del secolo xii, quando i duchi normanni avevano in loro potere l'Italia meridionale, essi s'impadronirono anche di questa fortezza, ma solo per poco, perchè i papi salvaguardarono bene i loro diritti sulla terra di confine, su Terracina e sul promontorio che ne dipendeva. Sul finire del secolo, divennero padroni della rocca di Circeo i Frangipani di Roma che possedevano Astura e molti altri territorii sul Tirreno ed essi seppero sottrarla alla giurisdizione di Terracina, dopo un lungo assedio. Essi possedettero la Rocca Circeji per lungo tempo; Ottone e Roberto Frangipani la diedero poi a Rolando Guidonis de Leculo, ma a questi Innocenzo III la ritolse per restituirla alla Chiesa.
Alla metà del secolo xiii i Templari divennero proprietari del promontorio, dove ancora durava la leggenda di Circe, figlia del Sole e dove si era mostrata la coppa di Ulisse, il Graal di questo antico monte incantato. Un documento del 3 maggio 1259 dice che Pietro Fernandi, maestro dell'Ordine dei Templari in Italia, per autorizzazione del maestro generale Tommaso Berardi, assegnava al vice cancelliere Giordano in cambio del casale Piliocta (oggi Cecchignola, sulla via Ardeatina), il villaggio Sancti Felicis sul monte Circego, appartenente per diritto all'Ordine, ottenuta la approvazione della casa romana dei Templari sull'Aventino (oggi priorato di Malta). Era questi il medesimo cardinale Giordano che come governatore della Campagna romana e della Marittima, nove anni più tardi, compariva colle sue truppe dinanzi ad Astura per chiedere, in nome della Chiesa, ai Frangipani la consegna di Corradino, cosa che non potè ottenere, come è noto, disgraziatamente per l'ultimo degli Hohenstaufen.
Giordano era un nobile di Terracina, della potente casa dei Peronti. Egli riunì a Terracina la rocca Circea che rimase alla sua famiglia fino a tutto il secolo xiii, nel qual tempo passò agli Anibaldi di Roma, dai quali nel 1301 la ebbero i Gaetani.
La potenza di questa famiglia derivava allora tutta da Bonifacio VIII; suo nipote Pietro possedeva già le città volsce di Sermoneta e di Norma e una gran parte del territorio pontino, ricco di bestiame, da Ninfa al mare. Pietro Gaetani diede principio a questo ricco possesso—che i suoi discendenti godono ancora—coll'acquisto del capo Circeo. Lo acquistò con tutte le terre dipendenti e ancora i Gaetani portano il nome di San Felice, e insieme acquistò per 2000 fiorini d'oro il lago di Paola, da Riccardo Anibaldi, signore della torre delle Milizie in Roma. Da quel tempo i Gaetani possedettero la rocca Circea per 400 anni. In questo lungo periodo di tempo essa fu tolta loro una volta, ma per soli due anni, quando Alessandro VI li privò di tutti i feudi negli Stati della Chiesa per donarli al figlio di Lucrezia, al piccolo Rodrigo di Biseglia. Allora egli eresse Sermoneta in ducato, ma subito dopo la sua morte i Gaetani rientrarono nei loro possessi, e siccome erano anche conti di Fondi, il castello Circeo costituì la pietra di confine della loro signoria sul mar Tirreno. Dalla cima del loro palazzo a San Felice essi spaziavano con lo sguardo, entro il cerchio armonioso del panorama, sul loro feudo da Fondi fino ad Astura e dalle mura ciclopiche di Norba fino alla spiaggia pontina.
Nell'anno 1713 i Gaetani alienarono il capo Circeo, e il duca Michelangiolo lo vendette ai Ruspoli di Roma, insieme col palazzo Gaetani sul Corso che si chiamò d'allora in poi palazzo Ruspoli.
Nel 1718 il capo passò agli Orsini come dote di Donna Giacinta Ruspoli; ma siccome la Santa Sede si era riservato il diritto di riacquistare il feudo, gli Orsini dovettero venderlo nel 1720 alla Camera Apostolica per 100,000 scudi. Nel 1808, dopo 88 anni, fu venduto nuovamente, al principe Stanislao Poniatowski, e così un magnate polacco, ultimo della sua casa, divenne signore dello storico capo e lo tenne per 14 anni. La Camera Apostolica lo riscattò nel 1822 e con la caduta degli Stati della Chiesa passò alfine in proprietà dello Stato italiano.[9]
Questa è la breve storia del capo Circeo: intanto il sole si è alzato fra i monti di Gaeta e la luna è scomparsa nella luce. Il capo è apparso tutto scoperto dinanzi a noi, illuminato dal sole matutino con una luce tranquilla e tutto l'incanto è finito.