Après avoir présidé à l'installation de la maison qui devint son palais des Mulini, il parcourut l'île en quête d'un site favorable à des villégiatures. La nature partout était superbe; le confort laissait à désirer. Toute l'île est une oasis charmante jetée sur les flots bleus de la mer Thyrénienne, une station malheureusement ou heureusement trop dédaignée par la mode vagabonde des touristes, où les points de vue, sauvages et riants, alternent avec une pittoresque variété, sous un climat qui ressemble à celui de la Corse. Ce fut le seul instant où, dans sa carrière agitée, Napoléon put se laisser aller au côté rêveur de son caractère. Un instant, il devint poète et, dans le cadre magnifique qui l'entourait, il relut Ossian, le poète qu'il avait aimé dans sa jeunesse.
Mais les tendances pratiques de son esprit positif reprirent vite le dessus.
San-Martino offrait un emplacement propice à y établir une propriété de plaisance, où venir, l'été, fuir les chaleurs de la capitale. Il y avait une bicoque: on en fit une maison de campagne qui fût pour Porto-Ferrajo ce qu'avait été Saint-Cloud pour Paris. Napoléon voulut en faire un domaine de rapport où pousseraient des légumes de choix. Il s'occupa de tous les détails et quiconque aurait surpris cet homme courtaud et bedonnant, coiffé d'un large chapeau de paille, en train de vérifier le progrès des jeunes pousses, n'aurait certes pas reconnu le grand Empereur.
Ceux qui l'observaient avec des yeux prévenus et hostiles, crurent que ses facultés exceptionnelles se rapetissaient au niveau des petits soucis d'une vie désormais vouée à des soins médiocres. Campbell surtout, le commissaire anglais qui cherchait à concilier les exigences d'une politesse toute britannique avec les nécessités d'un espionnage dont son gouvernement l'avait chargé, épiait, avec une satisfaction mal dissimulée, les étapes fatales d'une déchéance intellectuelle correspondant à la déchéance politique.
Tout indice était noté et exagéré. Le grand désœuvré cherchait à tromper son ennui en donnant de l'importance à ce qui n'en avait pas. Ses manies,—petitesses inhérentes à tout homme si exceptionnel soit-il,—prenaient des proportions gigantesques dans ce milieu resserré où les affaires d'État se réduisaient à acheter des meubles, à habiller et équiper quelques soldats, à diriger des jardiniers et à se disputer avec des fonctionnaires improvisés.
Certaines phobies, bizarres il est vrai, furent prises pour autant d'indications pouvant faire croire à un dérangement cérébral. Ainsi, Napoléon avait horreur du noir et il exprimait cette antipathie en critiquant vertement toute dame qui se permettait de se présenter devant lui en vêtement sombre. Le rose avait sa prédilection. Sa sœur si dévouée, Pauline Borghèse, fut sévèrement réprimandée pour avoir arboré, dans une soirée officielle, une toilette de velours noir.
Un homme qui perdait son temps à de pareilles vétilles n'était plus hanté par le mirage des vastes ambitions.
Aussi Campbell, faisant taire ses craintes, rassura son gouvernement. Les diplomates du Congrès de Vienne, qui, Talleyrand en tête, trouvaient, qu'à l'île d'Elbe, Napoléon était trop près du théâtre de sa gloire, trop près de l'Italie où les mécontents commençaient à élever la voix, trop près de la France où les Bourbons se rendaient impopulaires, se tranquillisèrent au récit de certaines mises en scène qui frisaient la bouffonnerie et prenaient des allures carnavalesques. Le geôlier dissimulé sous la personnalité d'un officier anglais, qui devait surveiller le prisonnier commis à sa garde, crut, un beau jour, qu'il pouvait se relâcher de la sévérité de sa surveillance. Le 16 février 1815, Campbell se rend à Florence. Sa conscience cependant n'était pas complètement endormie. Il rencontre, dans la capitale toscane, le sous-secrétaire d'État M. Cook, qui revenait précisément de Vienne et lui exprime ses craintes relatives à la situation et à la mentalité de Napoléon. Le sous-secrétaire d'État haussa dédaigneusement les épaules: «Napoléon! s'écria-t-il... qu'est-ce que c'est que ça? Retournez en paix à l'île d'Elbe, Colonel. Il ne peut rien faire. Et s'il vous demande ce qu'on pense à son sujet, répondez-lui que personne ne songe plus à lui en Europe. Il est complètement oublié, c'est comme s'il n'avait jamais existé!»
Si cette opinion était partagée par les hauts dignitaires qui se rencontraient autour du tapis vert du Congrès de Vienne, si elle était accréditée auprès des cours de la Sainte-Alliance, il faut avouer que les rapports de police qui ont contribué à la répandre manquaient un peu d'exactitude et beaucoup de psychologie.
Lorsque, le 28 février 1815, après une absence de huit jours, Campbell revint à l'île d'Elbe, Napoléon était parti pour la France.