A ces mots, l'Empereur, épuisé de fatigue, retomba sur son siége; la voix lui manquait. «D'abondantes larmes découloient, dit François de Rabutin, le long de sa face ternie et luy arrosoient sa barbe blanche.» Toute l'assemblée partageait son émotion et pleurait avec lui. Les sanglots redoublèrent quand l'Empereur s'écria: «Mes chers enfants, votre affection me perce le cœur; je vous quitte avec douleur.»
Lorsque Jacques Maes, député d'Anvers, eut répondu au nom des états, Philippe s'agenouilla devant son père et le remercia; ensuite se retournant vers les états, il s'excusa de ne pouvoir s'exprimer facilement ni en français ni en flamand, et chargea l'évêque d'Arras de prendre la parole en son nom. La reine de Hongrie prononça aussi quelques mots pour résigner la régence des Pays-Bas qui lui avait été confiée pendant vingt-cinq ans.
Le lendemain Philippe reçut solennellement le serment des députés des diverses provinces des Pays-Bas. Dès ce moment il gouverna et habita le palais, sans que la popularité qui s'attache aux nouveaux règnes, saluât son avénement. Claude de l'Aubespine, qui le vit au mois de mars 1556, le dépeint comme «n'ayant encores nulle expérience, nourry à l'espagnole qui desdaigne toutes autres nations, et luy particulièrement ne faisant cas que de la sienne. On voyoit déjà, ajoute-t-il, les divisions qui se préparoient en sa court entre les Flamans et Espagnols, estant séparés de converser, boire et manger et de toutes communications les uns des autres.»
Charles-Quint s'était retiré dans une petite maison bâtie au milieu du parc de Bruxelles. «Le logis est un petit bastiment qu'il avoit faict faire au bout du parc, auprès de la porte de Bruxelles qui va à Louvain, qui ne ressentoit pas son mausolée, mais la retraicte d'un simple citadin; car je n'y recognus qu'une antichambre qui servoit encore de salle, et sa chambre, chascune ne contenant en quarré plus de vingt-quatre pieds. On y montoit par un escalier de dix ou douze marches, pour le descharger seulement des vapeurs de terre; point de surédifice. L'empereur estoit assis dans une chaise, à l'occasion de ses gouttes, la dicte chaise couverte de drap noir; au devant de luy une table, de longueur environ six pieds, couverte d'un tapis de drap noir; sa chambre et antichambre tapissées de même. Son habillement estoit une petite robe citadine de serge de Florence, couppée au dessus des genouils, ses bras passés au travers des manches d'un pourpoint de treillis d'Allemagne noir, un bonnet démantoné, entourné d'un petit cordon de soye, sa chemise à simple rabat: ceste simplicité illustrant d'autant plus ce prince qui, à la vérité, estoit très-grand.»
Tel est le récit de Claude de l'Aubespine, qui accompagna l'amiral de Châtillon et les autres ambassadeurs chargés d'obtenir la ratification de la trêve de Vaucelles. Ils trouvèrent l'Empereur plein de cette grâce affable et de cette gaieté tranquille qui n'appartiennent qu'à une vieillesse honorable, mais si accablé par ses infirmités qu'il put à peine ouvrir les lettres du roi de France. Ce fut alors que Charles prononça ces paroles mémorables: «Vous voyez, monsieur l'admiral, comme mes mains, qui ont fait tant de grandes choses et manié si bien les armes, il ne leur reste maintenant la moindre force pour ouvrir une simple lettre. Voylà les fruicts que je rapporte pour avoir voulu acquérir ce grand nom, plein de vanité, de grand capitaine et très-puissant empereur. Quelle récompense!»
Quelques mois s'étaient écoulés quand Charles-Quint, ayant complété son abdication, partit de Bruxelles pour aller, selon le conseil de ses médecins, chercher sous un ciel plus doux quelque soulagement à ses douleurs. Cependant il voulut, avant de s'éloigner, quitter en ami une patrie qu'il ne devait plus revoir. Il se fit porter en litière à Gand et y descendit à l'hôtel de Ravestein. Autour de lui s'élevaient le Gravesteen, le palais de Ten Walle et l'hôtel de la Poterne, résidences déjà à demi ruinées qu'habitaient seules quelques légendes du passé et la mémoire de ses aïeux.
Ce fut à Gand que Charles-Quint réunit près de lui, le 26 août 1556, les ambassadeurs des princes étrangers pour prendre congé d'eux. Il les exhorta tour à tour à travailler avec zèle «au bien et avantage de la chrestienté;» puis il protesta que pendant toute sa vie il avait honoré et défendu le saint-siége, loua la liberté dont jouissait Venise et transmit quelques conseils à Cosme de Médicis. L'ambassadeur de Florence (c'était un évêque) tenta un dernier effort pour le dissuader de renoncer à la vie politique, en lui remontrant que non-seulement ses plus chers et ses plus fidèles serviteurs s'en désolaient profondément, mais qu'il était aussi sage, prudent et convenable qu'il aidât son fils de tout ce que lui avait enseigné une longue et glorieuse expérience. Mais l'Empereur lui répondit que les forces d'un vieillard infirme et malade étaient bien au-dessous de celles d'un jeune prince dans toute la vigueur de l'âge. «Et là-dessus, voulant cest évesque derechef lui remémorer les affaires et grandeurs de ce monde, Sa Majesté l'interrompit, le priant de croire que ses pensées n'avoient plus rien de commun avec le monde auquel il avoit dit adieu; et là-dessus se départirent... Ainsi, ajoute Rabutin, se retiroit des misères de ce siècle inconstant et mobile le plus grand empereur et le plus renommé qui ayt régné depuis Charlemagne.»
Si le climat de la Flandre eût été moins rude et moins contraire aux maladies qui le tourmentaient, Charles-Quint, dont le cœur, comme il le disait lui-même, avait toujours été «dans ses pays de par deçà,» se fût arrêté à Gand, et les bourgeois dont il avait condamné les franchises, eussent salué avec respect, mais peut-être aussi en croyant y reconnaître une expiation, la retraite que Charles de Gand se serait fait construire dans un de ces pieux monastères que des princes, devenus cénobites comme lui, avaient fondés dans les premiers siècles du christianisme.
Si Charles-Quint n'acheva pas sa vie aux lieux mêmes où elle avait commencé, il voulut du moins n'avoir jamais d'autres serviteurs que ceux qui étaient nés en Flandre; ils prendront soin de lui jusqu'à sa mort et seront les seuls qui veilleront près de son tombeau.
Le 15 septembre, Charles-Quint s'embarqua en Zélande. Peu de jours après il abordait en Espagne, jeté par une effroyable tempête sur le rivage qu'il baisait en s'écriant: «Je suis sorti nu du sein de ma mère et c'est nu que je rentre dans ton sein, ô terre, seconde mère commune à tous les hommes!»