J'avais écrit, la veille, à ma femme, et je lui disais que je partirais, peut-être, à l'île d'Elbe sans la voir, et que, dans ce cas, elle recevrait, à mon arrivée dans ce pays, quelque temps après, les instructions nécessaires pour arranger nos affaires et venir me retrouver avec ses enfants, mais que, cependant, je ferais ce qui dépendrait de moi pour aller lui faire mes adieux.
Je me hasardai donc à en demander la permission à l'Empereur, qui me l'accorda, et je partis, un matin. Mais sa tristesse m'ôta le courage de lui parler de moi, et il ne sut rien des désagréments que je venais d'éprouver.
J'arrivai à Paris. Ma femme me dit qu'elle venait de m'écrire et qu'elle m'approuvait beaucoup du parti que j'avais pris de suivre l'Empereur et qu'elle était toute disposée, quoiqu'il lui en coûtât beaucoup de quitter son père et sa mère, à me rejoindre dès que je la demanderais. C'était aussi le contenu de sa lettre, mais elle me conseilla, lorsque je serais de retour à Fontainebleau, de parler avec franchise à l'Empereur. Elle sentait que mon caractère ne supporterait pas davantage d'être commandé par ceux qui s'y disposaient, et que je ne consentirais pas à me laisser humilier par eux. Enfin je lui dis que je ne me sentais pas le courage d'entretenir l'Empereur de ce qui me regardait, que je voulais risquer le voyage de l'île d'Elbe et que, si je m'y trouvais malheureux, je m'arrangerais avec un négociant de ce pays pour m'amener en Italie; que, de là, je rentrerais en France. Elle combattit mon projet, en me disant qu'ensuite on ne me laisserait pas rentrer.
J'ai toujours eu des intentions si pures, que je ne pouvais pas comprendre qu'on pût me refuser d'habiter le lieu où je me serais présenté.
Enfin, je passai deux jours dans ma famille; j'y fis mes petites dispositions d'intérêts, et je fis faire une procuration par maître Fouché, mon notaire. Elle portait que j'autorisais ma femme à gérer mes affaires, pendant mon séjour à l'île d'Elbe. Ensuite je partis pour Fontainebleau.
J'arrivai le soir, au grand étonnement de tout le monde, de l'Empereur même à qui on n'avait pas négligé de faire croire que j'étais parti pour ne plus revenir.
Sa Majesté me dit: «Te voilà?» et ne m'en dit pas davantage.
Je réclamai la lettre de ma femme: personne ne l'avait vue. Mais, ne comptant plus sur mon retour, un de mes camarades me dit qu'on l'avait décachetée et portée au Grand Maréchal. Elle n'était pas, cependant, contre moi, comme je l'ai déjà dit: c'était une réponse à celle où je lui disais que j'avais l'intention d'aller à l'île d'Elbe.
Le bruit courait, au château, que l'Empereur avait voulu se détruire avec du charbon. Je fus attéré et ne dormis pas de la nuit. Comme j'étais frappé de cette idée de destruction, tout me portait ombrage, et j'observais toujours, avec inquiétude, la mine de l'Empereur, lorsque, le matin du lendemain de mon arrivée, il me demanda ses pistolets. Comme j'étais chargé de ses armes, en toute autre circonstance, j'eusse pensé que c'était pour son agrément, mais dans celle-ci, je jugeai à propos de ne pas les lui donner. Je n'osai pas le refuser ouvertement, mais j'alléguai des raisons, et j'allai trouver le prince de Neuchâtel, lui parler de mes craintes, et le prier de m'autoriser à refuser ses pistolets, dans le cas de récidive. Il me dit: «Cela ne me regarde pas», et m'abandonna à moi-même.
Un ami, que j'avais à Fontainebleau et à qui je me gardai bien de parler de tout ceci, me dit que le bruit se répandait que l'Empereur avait voulu se détruire. Je lui dis que je n'en avais pas de connaissance: «Savez-vous, me dit-il, mon cher Roustam, que c'est ce qui pourrait vous arriver de plus fâcheux? Surtout, si le malheureux événement arrivait la nuit, on n'ôterait pas de la tête du public que vous avez été gagné par les Puissances étrangères, pour commettre ce meurtre.»