M. Peyrusse me transmettait une lettre que l'Empereur lui écrivait pour m'en donner connaissance. L'Empereur me blessait ainsi dans ma délicatesse, car ce qu'il demandait par cette lettre, il pouvait et devait me le demander directement. Ce qu'il faisait ici avait tout l'air d'une réminiscence, quant à ma prétention de travailler directement avec lui. Je voulus tout de suite m'en expliquer avec le général Drouot, puis avec l'Empereur. L'Empereur me renvoya à un autre moment. Cet autre moment venu, il me reçut. L'Empereur avait dit dans sa lettre qu'il voulait me consulter. Cette consultation de prétexte se borna à quelques paroles sur les moyens les plus faciles pour assurer le recouvrement des créances. Sa manière était calme, même douce, sans pourtant être expansive, et visiblement quelque chose préoccupait son esprit. Lorsqu'il m'eut entretenu de ses affaires, je voulus lui parler des miennes, et je lui en demandai la permission. Il me dit en souriant, mais d'un sourire qui avait plutôt quelque chose de sérieux que quelque chose de gai: «Je ne suis pas disposé aujourd'hui à m'occuper de tracasseries, et nous renverrons la chose à un autre jour.» Certainement le général Drouot avait parlé. L'Empereur se retira.
J'avais fait à l'Empereur un sacrifice que je considérais comme immense, et, pour me récompenser, il semblait ne se rappeler que des (sic) discussions qu'il appelait des tracasseries. Il y avait là vraiment de quoi me désorienter. Toutefois, l'Empereur s'était exprimé sans aucune apparence de mauvaise humeur. J'eus un autre étonnement: lorsque l'Empereur fut le sur seuil de la porte, il se tourna vers moi pour me dire d'une voix interrogative: «Vous étiez au siège de Toulon?» et sans attendre ma réponse, il passa dans le salon.
Cette séance ne me fit pas faire un pas dans la voie du mieux, et j'étais fort contrit lorsque j'eus quitté le palais impérial.
J'allai droit à ma ressource universelle: le général Drouot avait, dans sa parole d'honnête homme, un baume qui cicatrisait les plaies de l'âme lorsqu'il ne les guérissait pas. Mais ici il se borna à me dire: «Dans la situation de l'Empereur, je respecte tout ce qu'il fait, quelque chose qu'il fasse.» Je compris la leçon.
J'éprouvais un regret amer: ce n'était pas d'avoir versé les fonds de la Légion d'honneur, mais de n'avoir pas insisté pour ma démission. Le mot de tracasseries, alors que je m'attendais à des paroles de gratitude, m'avait frappé au coeur.
Trois ou quatre semaines s'étaient écoulées sans que j'eusse mis le pied au palais de l'Empereur. Tout le monde s'apercevait que l'orage n'était pas complètement dissipé. Le général Drouot n'avait rien fait ni rien dit pour que je misse un terme à cette désertion apparente. Cette abstention n'était pas naturelle. J'y voyais la preuve qu'il approuvait ma réserve. Il venait régulièrement me voir; ma maison était son lieu de repos. Un matin, il me dit: «L'Empereur m'a demandé si vous étiez malade; cela signifie qu'il fait attention à votre absence, qu'il n'en est pas content. Je suis bien sûr que si vous n'y allez pas, il vous fera appeler.» Je répondis au général Drouot que j'attendrais que l'Empereur m'appelât. Le général Drouot se tut. C'était continuer l'approbation qu'il donnait à ma conduite. La chose était désormais ainsi établie: l'Empereur disait au général Drouot ce qu'il ne voulait pas me dire lui-même. De mon côté, je confiais au général Drouot tout ce qu'il m'importait de communiquer à l'Empereur.
Ma maison, à Porto-Ferrajo, était adossée aux remparts qui entourent le port, et, pour l'agrément de ma famille, le général Drouot, en sa qualité de gouverneur de l'île d'Elbe, avait eu la complaisance de me faire ouvrir une porte qui donnait sur le chemin de ronde. Je planais donc sur le port: je pouvais voir tout ce qui s'y passait.
L'Empereur aimait à faire une promenade matinale sur les quais. Un jour que du haut des remparts je le contemplais dans sa noble simplicité, il m'aperçut et il me fit signe d'aller le trouver. La promenade fut plus longue que de coutume; il m'engagea à déjeuner avec lui, et je continuai à le suivre.
Lorsque le déjeuner fut terminé, l'Empereur me dit: «Je voulais vous entretenir aujourd'hui, mais le courrier m'ayant apporté d'autres occupations, je vous renvoie à demain, et il ne sera plus question de tracasseries.» L'Empereur prononça ces derniers mots en riant. Il n'y avait pas de doute que le général Drouot avait répété ma plainte.
Je fus exact à l'heure indiquée. L'Empereur était dans son cabinet: il avait pris son air de séduction; il me reçut parfaitement. Il commença ainsi: