Après avoir commandé à Lunéville et tenu garnison à Besançon, où naquit son troisième fils, Léopold Hugo partit avec les siens pour l'île d'Elbe et pour la Corse. A la date de ce départ, Victor Hugo était âgé de six semaines. Le commandant Hugo, appelé à l'armée d'Italie, renvoya sa famille à Paris. Il la rappela auprès de lui, dès que la faveur de Joseph, roi de Naples, l'eut élevé au grade de colonel du régiment de Royal-Corse et de gouverneur d'Avellino. Victor Hugo vit donc l'Italie dans l'automne de 1807. Son père rejoignit le roi Joseph en Espagne, et une seconde fois la mère et les trois enfants rentrèrent à Paris. Ils en repartirent pour aller retrouver le chef de famille devenu général, gouverneur de Guadalaxara, et comte de l'Empire. Dans son premier recueil de vers, le poète rappelait ainsi ses voyages d'enfance:
Je visitai cette île, en noirs débris féconde,
Plus tard premier degré d'une chute profonde;
Le haut Cenis, dont l'aigle aime les rocs lointains,
Entendit, de son antre où l'avalanche gronde,
Ses vieux glaçons crier sous mes pas enfantins.
Vers l'Adige et l'Arno je vins des bords du Rhône.
Je vis de l'occident l'auguste Babylone,
Rome, toujours vivante au fond de ses tombeaux,
Reine du monde encor sur un débris de trône,