Les empereurs Claude, Adrien et Constantin visitèrent Boulogne et l'embellirent.
«La ville, dit Malte-Brun, fit son apprentissage de résistance glorieuse aux invasions de 449; on ignore généralement qu'Attila échoua devant Boulogne, lui qui venait de semer les ruines par toute la Belgique. Mais Clovis la prit, et elle fit, dès lors, partie de la monarchie franque.»
Les côtes du Pas-de-Calais ne pouvaient échapper aux expéditions des Northmen. Charlemagne, prévoyant le danger, éleva des fortifications, imprenables pour le temps, mais la faiblesse et l'incurie de ses successeurs laissèrent périr son œuvre.
Boulogne en fut victime. L'année 882 la vit assiéger, prendre et ruiner de fond en comble.
Sa situation maritime la sauva d'une destruction absolue. Intrépides navigateurs, commerçants habiles et industrieux, ses habitants savaient promptement trouver moyen de réparer leurs désastres. Cette prospérité valut une réelle influence aux seigneurs de la ville, car Boulogne, et le territoire qui en dépendait, formèrent un comté ayant des seigneurs particuliers, vassaux de la couronne de France. L'un des plus célèbres fut Philippe Hurepel, qui s'occupa tant de Calais.
La puissance des comtes de Boulogne s'étendait jusqu'aux confins de la Champagne et du Luxembourg.
La famille comtale dut bientôt fractionner ses possessions. Une des dépendances devint le duché de Bouillon qui, par héritage, échut à un fils d'Eustache de Boulogne, Godefroy, né vers 1058, à Nézy, près de Nivelle, dans le Brabant (royaume de Belgique). Du moins, quelques probabilités autorisent-elles à penser ainsi. Il est vrai que Boulogne revendique l'honneur d'avoir vu naître le héros de la première croisade, le chrétien admirable, qui refusa la couronne de roi de Jérusalem pour garder le simple titre de baron du Saint-Sépulcre.
D'ailleurs, il serait encore glorieux, pour la cité, que Godefroy fût simplement issu de la famille de ses comtes.