Vasta Fréjus'issa, kun hän oli saapunut englantilaiseen fregattiin Undaunted'iin, hän taas tuli kutakuinkin entiselleen.
Toukokuun 4 p:n illalla 1814 Undaunted laski ankkurin Elban pääkaupungin Porto-Ferrajo'n satamaan, ja kirkonkellojen soidessa ja tykkien paukahdellessa Napoleon astui maihin neljän neliöpenikulman suuruiseen valtakuntaansa. Viime aikojen suuret ja äkkiä vaihtuneet tapaukset, eikä suinkaan vähimmin hänen pakollinen työttömyytensä, olivat häneen kovasti vaikuttaneet, ja sentähden hän melkein jonkinmoisella mielihyvällä aamusta alkaen aina pitkin päivää, milloin jalkaisin, milloin ratsain samoili vuorista saarta pitkin.
Hänen ensimäinen toimensa tarkoitti saaren laittamista parempaan puolustuskuntoon. Sillä tuumat hänen murhaamisestaan tai viemisestään johonkin kaukaiseen paikkaan, joiden hän tiesi olleen puheena Talleyrand'in neuvotteluissa, olivat hänelle osoittaneet, mitä hän saattoi vihollisiltansa odottaa. Yksinomaan huvin vuoksi ei hän siis asettanut noin 1200 miehen suuruista joukkoansa täydellisesti sotajalalle; lisäksi hän linnoitti sataman ja laittoi patterin autiolle kalliolle. Hänen laivastonsa muodosti ranskalainen priki "l'Inconstant", 16 kanuunalla varustettu, joka sovintokirjan mukaan kuului hänelle, yksi kuunari ja kolme pienempää alusta. Mutta hän järjesti tämän kääpiövaltion samalla hartaudella kuin ennen jättiläisarmeijansa. Hänen seuralaisensa onnettomuudessa, Druot, Peyrusse ja Bertrand, tulivat ministereiksi, Cambranne Porto-Ferrajon päälliköksi, ja vihdoin hän muodosti ympärilleen täydellisen hovin, hänellä oli ylimarsalkki, neljä kamariherraa y.m.
Napoleonin toimintahalu painoi kuitenkin syvempiäkin jälkiä pienen saaren kehitykseen. Kaikkialle raivattiin teitä, rakennettiin siltoja, laitureita ja vesilaitoksia. Hän pani alkuun suuria viini- ja silkkimatopuiden istutuksia, laajensi suuria rautakaivoksia ja suolakeittiöitä, joista saatiin suuret tulot, yritti silkkiviljelystä ja koetti kaikin tavoin käyttää aluettaan edukseen. Saaren väestön hän kokonaan sai puolellensa suoruudellaan ja käytännöllisellä kunnollaan, mutta sittenkin eniten töillään saaren kehitykseksi.
Viileämpänä vuodenaikana keisari asui Porto-Ferrajossa, hän itse oli laajentanut ennen sangen vaatimattoman palatsin, jossa usein pidettiin juhlia teattereineen ja tanssiaisineen. Saliin mahtui korkeintaan 200 henkeä; siellä tarjottiin virvokkeita, ei kuitenkaan jäätelöä, sillä jäätä oli vaikea saada, ja kustannus kaikkiaan ei saanut nousta 1000 frangia korkeammalle. Mutta lämpöisenä vuodenaikana hän muutti saaren korkeimmalle vuorelle, Monte Capannaan, jossa hän varjoiseen kastanjalehtoon rakennutti yksinkertaisen asuinrakennuksen. Täältä hänellä oli ihanin näköala itään saaren ja penikulman levyisen Piombino-salmen yli Italian rannalle, länteen sinisen Välimeren yli Korsikan vuorille. Hän sai täällä ottaa vastaan äitinsä ja sisarensa Pauline'n, ainoat hänen suvustaan, jotka kävivät häntä katsomassa hänen kukistumisensa jälkeen; ja täällä Marcianan poukamassa astui syyskuun 1 päivänä huolellisesti hunnutettu nainen maihin 4-5 vuoden vanha poika mukanaan ja lähti keisarin luo. Ihmiset luulivat, että hänen puolisonsa vihdoin oli tullut jäädäkseen hänen luoksensa, mutta kahden päivän kuluttua hän lähti taas pois lapsi muassaan. Napoleonin luona oli käynyt puolalainen kreivinna Walewska poikinensa.
"Tahdon tästedes elää rauhantuomarina. Keisari on kuollut, minä en ole enään mitään, enkä ajattele muuta kuin pientä saartani. En ole enään maailmaa varten, ja harrastan vain omaa perhettäni, pientä taloani, muulejani ja lehmiäni." Nämä ovat kukistuneen imperaattorin omat sanat, ja ruokasalinsa seinään hän oli niiden mukaisesti antanut asettaa uuden filosoofisen mielilauseensa: Napoleo ubicumque felix, Napoleon on onnellinen missä hyvänsä. Mutta oli kaksi asiaa, jotka asettuivat häiritsemään sitä mielenrauhaa, jota hän aina halusi ilmaista. Toinen oli muistot, ja toinen hänen vihollistensa esiintyminen. Muistot, ei ainoastaan siitä, mitä hän oli ollut, hänen poliittisesta ja mieskohtaisesta vallastaan, vaan myös hänen puolisostaan ja pojastaan; ja hänen vihollisensa esiintyminen ei ainoastaan mieskohtaisesti häntä vaan myöskin sitä maata vastaan, jota hän oli hallinnut.
Fontainebleau'n sovinnossa ei oltu päätetty mitään Marie Louise'in suhteesta Napoleoniin. Keisarinna oli saanut Parman ja Guastallan maakunnat ja lausui itse toivovansa saada jakaa puolisonsa kohtalon. Koko suven tämä odotti hänen tuloansa, valmisti hänelle huoneet, ja puhui ilosta saada poikansa luoksensa. Mutta liittoutuneet ruhtinaat olivat päättäneet, ettei Marie Louise millään ehdolla saanut liittyä Napoleoniin ja vielä vähemmin hänen poikansa päästä hänen yhteyteensä; Metternich, joka tunsi keisarinnan välinpitämättömän, häilyvän luonteen, keksi — estääksensä pakollisen avioeron skandaalia — keinon: kääntää hänen mielensä Napoleonista hankkimalla hänelle rakastajan. Hän valitsi tähän tarpeeseen miehen, jolla oli tarpeellinen viettelytaito, kreivi Neipperg'in, ja pani tämän seuraamaan keisarinnaa kylpymatkalle palvelevana kavaljeerina. Parin kuukauden kuluessa Marie Louise unohti kauniit puheensa puolisostaan ja etsi lohdutusta uuden ystävänsä luona.
Napoleon, jolle olisi ollut poliittisesti sangen tärkeää, jos keisarintytär olisi osoittautunut lujaksi uskollisuudessaan, puhui suurella katkeruudella hänen vaitiolostaan Englannin komissariolle sir Campbell'ille, joka yhä oleskeli Elbassa. "Vaimoni ei kirjoita enään minulle", hän sanoi vapisevalla äänellä, "poikani on minulta riistetty, jotta hän, kuten muinoin voitettujen lapset, koristaisi voittajien riemukulkua. Voidaanko uudella ajalla tavata moisen julmuuden vertaa?"
Mutta myöskin hänen vihollistensa esiintyminen mieskohtaisesti häntä vastaan saattoi nostaa levottomuutta. Ludvig XVIII oli alkanut ilman muuta laiminlyödä hänelle määrätyn vuotuisen apurahan maksamista; hänellä ei ollut mitään mahdollisuutta saada sitä pakolla, ja saaren tuloista hän ei voinut elää. Lisäksi tulivat nuo alituiset huhut, että hänet aijottiin kuljetuttua pois milloin espanjalaisilla milloin algerilaisilla merirosvoilla. Hänen verivihollisensa Pozzo di Borgo oli aivan samaa mieltä kuin Talleyrand ja lordi Castlereagh, että Napoleon oli saatava niin kauvas Euroopasta kuin mahdollista, ja toiset lisäsivät: "mieluimmin sellaiseen paikkaan, jossa ilmanala ei ole varsin terveellinen". Ei ole sentähden oudoksuttavaa, että Napoleon — jonka ympärillä liikkui italialaisten vallankumouksellisten joukkoja — yhä suuremmalla huomaavaisuudella kuunteli niitä selviä tyytymättömyyden ilmauksia bourbonien hallitusta vastaan, joita hän sai Ranskasta kuulla. Siltä näytti, että vanha aika ennen vallankumousta oli palannut laillisen kuningaskunnan ja ylimielisten emigranttien mukana. Kansan kansallistunnetta kuohutti, että kuninkaan oli kiittäminen vieraita painetteja valtaistuimestaan ja että vallankumousajan ja keisarikunnan suuria muistoja halveksittiin ja hävitettiin. Kotiutuneet soturit puhuivat vain voitoista ja pienestä korpraalista, ja se osa väestöä, joka oli nähnyt Napoleonin viime sodassa ja ihmetellyt hänen uupumatonta työtään estääksensä vihollisen pääsemästä Parisiin, hänen tyytyväisyyttään, kestäväisyyttään ja rohkeuttaan, rupesi nyt omasta keisaristaan kertomaan piirteitä ja juttuja, jotka kulkivat kautta maan ja lämmittivät väestön sydämiä, nyt kun oli valtaistuimella ainoastaan bourboni. Ja Wienin kongressissa ilmaantuneista erimielisyyksistä suurvaltojen kesken saapui niinikään tietoja Elbaan. Kun bourbonit olivat taas nousseet valtaistuimelle, Ranska oli saanut monarkkisen valtiomuodon ja oli supistettu 1792 vuoden rajoihinsa. Ja takaisin saatujen maiden jakaminen se sai äsken niin hyvät ystävät taas riitaan.
Napoleon päätti käyttää tätä kaikkea edukseen; Elbaan hän tuskin saisikaan jäädä asumaan kongressin loputtua, ja pakollista siirtymistä hän kaikista enimmän pelkäsi; ja kentiesi pilvet taas hajaantuisivat niiden myrskyjen kautta, joita ainoastaan hän voi nostattaa, ja hänen tähtensä taas näkyisi loistavana ja selvänä. Helmikuun 26 p:nä — jolloin sir Campbell oli äskettäin palannut isänmaahansa — Napoleon sanoi jäähyväiset äidilleen ja sisarelleen ja astui 1100 miehen ja muutamien tykkien kanssa seitsemään laivaansa, jotka heti nostivat ankkurinsa ja laskivat maaliskuun 1 p:nä maihin pienessä poukamassa Cannes'in ja Antibes'in välillä.