Que les anciens l'aient occupée, cela est hors de doute. A défaut de monuments plus précis, des médailles, en grand nombre, l'attesteraient. Mais un camp romain a été découvert sur l'espace compris entre le cap Hornu et Rossigny.
Valery, moine de l'abbaye de Luxeuil, se retira, vers 613, sur ce point du rivage. La réputation de sainteté qu'il acquit amena la fondation d'une abbaye bénédictine, et tôt après une ville florissante fut élevée autour du monastère.
Malheureusement, les hommes du Nord ne devaient pas beaucoup tarder à apparaître dans la baie de Somme.
Pillée, brûlée, non une fois, mais à plusieurs reprises, l'infortunée ville allait succomber quand Louis III, roi de France (conjointement avec Carloman, son frère), qui, dans sa part privée d'héritage, comptait la Neustrie et le Ponthieu, vint barrer le chemin aux envahisseurs.
La rencontre décisive eut lieu, en 881, à Saucourt-en-Vimeu localité voisine de Saint-Valery et d'Abbeville. Elle fut meurtrière, mais une brillante victoire couronna les efforts de Louis, alors à peine âgé de vingt et un ans.
Le retentissement de ce beau fait d'armes devait être immense.
Des poésies, tout de suite populaires, en consacrèrent la mémoire et se perpétuèrent pendant plusieurs siècles. Un très curieux manuscrit, en langue franque, relatant l'un de ces chants, a été retrouvé à Valenciennes.
La triste série des guerres contre les Anglais amena une longue période de ravages pour Saint-Valery qui, en 1356, au lendemain de la funeste bataille de Poitiers, vit Charles le Mauvais, roi de Navarre, lui apporter le deuil et la désolation.