Même sur ses deux femmes, Napoléon n'est nullement avare de confidences et laisse échapper, sur l'une comme sur l'autre, les détails les plus intimes. Il se demande s'il a jamais réellement aimé. En ce cas, c'était Joséphine... un peu. «Elle mentait presque toujours, mais avec esprit, excepté quand il s'agissait de son âge. Là-dessus, elle s'embrouillait tellement que, pour mettre d'accord ses assertions, il aurait fallu admettre qu'Eugène était venu au monde à douze ans.... Elle ne m'a jamais rien demandé pour elle et pour ses enfants, mais me faisait des millions de dettes.» Son grand défaut, c'était une perpétuelle jalousie toujours en éveil. Pourtant, elle n'était pas jalouse de Marie-Louise: c'est celle-ci qui était très ombrageuse à l'endroit de Joséphine. Lorsque l'Empereur essaya de mener sa seconde femme rendre visite à la première, Marie-Louise fondit en larmes, et elle s'efforçait, par toutes sortes de ruses et de petits moyens, de l'empêcher d'aller chez Joséphine.
«Marie-Louise, dit-il, était l'innocence même. Elle m'aimait. Si elle avait été bien conseillée, et n'avait pas eu près d'elle cette canaille de Montebello et ce Corvisart qui, j'en conviens, était un misérable, elle serait venue avec moi (à l'île d'Elbe). Et puis, son père a mis auprès d'elle ce polisson de Neipperg.» C'est, peut-être la seule circonstance dans laquelle Napoléon, qui sauva bravement les apparences jusqu'au bout, nous ait laissé voir qu'il était au courant de l'infidélité de sa femme. Pourtant, Lavalette l'en avait informé pendant les Cent Jours, et il n'était bruit d'autre chose dans les commérages de la cour. Il ne s'en obstine pas moins à dire du bien de Marie-Louise, et voici, en résumé, le jugement qu'il porte sur elle. «C'est une petite femme timide, qui avait toujours peur en se voyant au milieu des Français, qui avaient assassiné sa tante. Elle ne mentait jamais, était très réservée, faisait bonne mine même à ceux qu'elle détestait.» Elle était plus intelligente que son père, qui était le seul de la famille pour qui elle eût de l'affection: elle ne pouvait pas souffrir sa belle-mère. «Quand elle voulait de l'argent, elle m'en demandait et était dans le ravissement que je lui donnasse dix mille francs. On aurait pu tout lui confier, c'était une vraie boîte à secrets.» Son père lui avait dit à Vienne: «Quand vous serez seule avec l'Empereur, vous lui obéirez en tout.» C'était, disait Napoléon, une charmante enfant, une bonne femme, et elle lui avait sauvé la vie. Et il concluait: «Je crois, cependant, quoique je l'aimasse bien, que j'avais plus aimé Joséphine. C'était une vraie femme, celle que j'avais choisie.... Je m'étais élevé avec elle.... Elle était pleine de grâce.» Il ajoutait,—et ce mot contenait un reproche indirect à l'adresse de l'autre: «Elle était femme à me suivre à l'île d'Elbe.... Je ne l'aurais jamais quittée si elle avait pu avoir un enfant. C'eût été bien heureux pour elle et pour la France.» En effet, c'est l'Autriche qui l'avait perdu. «Oui, certainement, sans mon mariage avec Marie-Louise, je n'aurais jamais fait la guerre à la Russie.» Il déclare qu'il a pris la résolution, si Marie-Louise venait à mourir, de ne pas se remarier. Si l'on songe aux circonstances dans lesquelles il se trouvait placé, et aux ressources matrimoniales que Sainte-Hélène pouvait lui offrir, il y a, dans cette déclaration, un mélange du comique et du tragique.
Il fait une allusion amère à son fils. Gourgaud, le quinze août, jour de la fête de l'Empereur, lui présente un bouquet qui est censé venir du roi de Rome. «Bah! répond brutalement Napoléon, le roi de Rome ne pense pas plus à moi qu'à vous.» Mais son testament et sa conversation elle-même prouvent que sa pensée était toujours avec l'enfant. Il avait l'intention de donner à son second fils, s'il en avait eu un, l'Italie tout entière pour royaume, avec Rome pour capitale.
Caroline, la femme de Murat, nous dit Napoléon, était considérée, quand elle était petite, comme la niaise, la Cendrillon de la famille, mais elle se développa heureusement, elle devint une femme intelligente et une jolie femme. Il lui est, cependant, impossible de cacher sa colère à propos de son second mariage. Il peut à peine y croire. Après vingt ans de mariage, quinze mois après la mort violente de son mari, avec de grands enfants, se remarier publiquement, et où, bon Dieu? à Vienne. «Ma foi! si cette nouvelle-là est vraie, ce sera la chose qui m'aura le plus étonné de ma vie.... Ah! l'espèce humaine est bien singulière!» Ici se fait jour sa pensée secrète: «Ah! la coquine! la coquine! L'amour l'a toujours conduite!»
Nous avons vu qu'il considérait Louis XIV comme le plus grand des souverains de la France, et cette nouvelle du mariage de Caroline produit entre eux le plus curieux des rapprochements. Ceux qui sont familiers avec Saint-Simon se rappelleront le récit saisissant qu'il donne de cette journée où Louis XIV apprit que son fils chéri, le duc du Maine, avait, dans une occasion importante, montré une bravoure des plus douteuses; comment le roi, alors à Marly, aperçoit un marmiton qui met dans sa poche un biscuit; comment sa rage comprimée fait explosion et se rue sur une victime relativement innocente; comment, devant la cour stupéfaite, il se précipite et rompt sa canne sur le dos du domestique; comment le malheureux s'enfuit pendant que le roi reste là, jurant après lui et brandissant, dans sa fureur impuissante, le tronçon de sa canne brisée. Les courtisans n'en peuvent croire leurs yeux et le roi rentre au château pour cacher son agitation. C'est ainsi qu'en apprenant le mariage de Caroline, Napoléon se met à table pour le dîner, tout frémissant d'une colère qu'il ne peut maîtriser. Il déclare que la pâtisserie ne vaut rien et son irritation, qui se déverse contre le cuisinier, dépasse toutes les bornes. Rarement, dit Gourgaud, jamais, dit Montholon, on n'a vu l'Empereur dans une fureur semblable. Il ordonne que l'homme sera bâtonné et chassé. La scène est grotesque et pénible, mais ce n'est pas le cuisinier, c'est Caroline qui en est la cause.
Ce n'est pas seulement le mariage de sa sœur, croyons-nous, qui provoquait cette explosion. La nouvelle lui avait probablement rappelé certain jour de l'année 1814, où il avait appris que Murat le trahissait et tournait ses armes contre la France. Le sentiment de l'Empereur pour Murat, à ce moment, était un mépris amer pour ce garçon perruquier, comme il l'appelait, dont il avait fait un roi. Quant à sa colère, il la réservait à Caroline, sachant que c'était elle qui dirigeait et gouvernait son mari. Son langage à propos d'elle était tel, à ce que rapporte Barras (mais ce n'est pas un témoin très digne de foi en ce qui touche Napoléon), que l'éditeur français de ses Mémoires, qui n'est pourtant pas bégueule, se refuse à l'imprimer. En tout cas, décentes ou non, nous pouvons être certains que les paroles de l'Empereur étaient fort énergiques et que, dans ce jour d'ébullition, à Sainte-Hélène, la mésalliance de Caroline lui remit en mémoire un drame plus sombre et un ressentiment bien autrement profond.
Sur ses frères il ne dit pas grand'chose qui vaille la peine d'être rapporté ici: c'est ailleurs qu'on trouvera la révélation de sa pensée intime à ce sujet. Il dit brièvement: «Mes frères m'ont fait bien du mal. J'ai commis une grande faute en mettant cet imbécile de Joseph sur le trône.... surtout en Espagne où il fallait un souverain ferme et militaire; mais, à Madrid, il ne pensait qu'aux femmes.... Joseph ne connaît rien au métier militaire, quoique en ayant la prétention.... Il n'a pas de cœur.» On peut remarquer qu'à Sainte-Hélène la décadence physique de Napoléon accentua sa ressemblance avec Joseph et la rendit frappante. Las Cases déclare qu'en une certaine occasion il aurait juré voir Joseph au lieu de Napoléon. Quant à Louis et à Lucien, leur manie d'écrire de mauvais vers et de les dédier au Pape est, pour lui, un perpétuel sujet d'étonnement. A propos des deux rimailleurs, il remarque, à plusieurs reprises, qu'«il faut qu'ils aient le diable au corps». Après le dix-huit brumaire, dit Napoléon, Lucien voulait épouser la reine d'Étrurie et menaçait, si on le refusait, d'épouser une femme de mauvaise vie: une menace qu'il a mise à exécution. Au jugement de son frère, il ne servit à rien pendant les Cent Jours; mais, après Waterloo, il aspirait à la dictature. Lucien faisait remarquer que les relations qu'il avait entretenues depuis quinze ans avec le parti républicain le feraient accepter de l'opposition et qu'il donnerait le commandement militaire à Napoléon. L'Empereur, à ces paroles étranges, se tourna vers Carnot, qui répondit sans hésitation au nom des républicains: «Pas un d'eux ne voudrait échanger la dictature de votre génie contre celle du président du Conseil des Cinq Cents.» Il parle à peine d'Eliza, la seule personne de sa famille qui lui ressemblât par le caractère et par les talents, et que, pour cette raison peut-être, il n'aimait pas; il ne dit pas beaucoup plus de l'exquise et voluptueuse Pauline. Il semble, du reste, que le monde, en général, n'a pas accordé assez d'attention à cette famille. C'était une race vraiment extraordinaire. Elle était née, elle avait grandi dans la pauvreté et dans l'obscurité: elle s'arrogea le droit divin avec une désinvolture admirable. Jamais Bourbon, jamais Habsbourg ne fut imbu de sa prérogative royale comme ces princes d'une heure. Joseph était fermement convaincu qu'il aurait réussi à s'implanter comme roi d'Espagne si Napoléon avait seulement retiré ses troupes. Louis avait la même idée en ce qui touche la Hollande. Murat et Caroline caressaient, à Naples, la même illusion. Jérôme n'avait pas été long à établir, en Westphalie, la pompe et l'étiquette d'un petit Louis XIV. Non moins remarquable était leur ténacité de caractère. Un observateur hostile est obligé de reconnaître que tout, chez eux, qualités et défauts, sortait de l'ordinaire. Il y avait, même chez les femmes, un élément de grandeur. Caroline et Eliza avaient des dons rares. Tous, frères et sœurs, possédaient quelque chose de l'inflexibilité de leur puissant chef, avec une dose aussi large que possible de foi en eux-mêmes. Souvent ils le bravaient. Quelques-uns ne se firent pas scrupule de l'abandonner. Les deux sœurs investies de pouvoirs royaux essayèrent de couper le câble qui les attachait à sa fortune, et de traiter, en souveraines indépendantes, avec l'ennemi. Lucien se croyait en état de faire plus que de remplir la place de Napoléon. Dans cette prodigieuse famille, dit Pasquier, les engagements les plus formels et les affections les plus sacrées s'évanouissaient à la première apparence d'une combinaison politique.
Les confidences de Napoléon ne se bornaient pas aux choses de famille: il parlait volontiers de ses amours. Il avait eu, en les comptant sur ses doigts, sept maîtresses dans sa vie. «C'est beaucoup,» disait-il. Mais, après tout, ce n'est guère, si nous nous rappelons qu'un historien érudit et distingué a consacré trois gros volumes à cet aspect du caractère de Napoléon.
Il parle, d'un air détaché, de la fameuse Mme Walewska dont, à une certaine époque, il avait paru fort épris (quoiqu'il regardât les Polonaises comme ayant la passion d'intriguer). «C'est M. de Talleyrand qui m'a procuré Mme Walewska.» Un jour qu'il est de mauvaise humeur contre Gourgaud, il lui avoue qu'au moment de partir pour Sainte-Hélène, il la lui aurait donnée pour femme; mais il ne le ferait plus maintenant, tant ses sentiments avaient changé! Il est bien aise d'apprendre qu'elle a épousé M. d'Ornano: «Elle est riche et doit avoir mis de côté. Ensuite, j'ai beaucoup donné pour ses deux enfants.» Je (Gourgaud) réponds: «Votre Majesté a longtemps payé à Mme Walewska dix mille francs de pension par mois.» A ces mots, l'Empereur rougit. «Comment savez-vous cela?—Pardieu! sire, j'étais assez près de Votre Majesté pour ne pas l'ignorer. Au Cabinet, on savait tout.» Un autre jour Napoléon déclare qu'un de ses principaux griefs contre Murat c'est que le roi Joachim, en 1814, avait confisqué les biens de Mme Walewska dans le royaume de Naples.
Il parle avec franchise de ses relations avec Mlle Georges et Mme Grassini, avec Mme Duchâtel, Mme Gallieno et Mme Pellaprat. A propos d'une autre personne que Gourgaud ne nomme pas, mais qu'il désigne assez clairement pour qu'on puisse reconnaître Mme Fourès, Napoléon s'exprime ainsi: «Elle avait dix-sept ans et j'étais général en chef.» Lorsqu'il était sur le trône, on croyait qu'il dédaignait la société des femmes. Il admet le fait et l'explique. Il était, dit-il, naturellement sensible et craignait l'empire que les femmes auraient pu prendre sur lui. Par conséquent, il les avait évitées. En quoi il avait fait, de son propre aveu, une grosse erreur. «Sa Majesté dit que si Elle remontait jamais sur le trône, Elle consacrerait deux heures par jour à leur parler et qu'Elle en apprendrait bien des choses.» Pendant les Cent Jours, il avait essayé de réparer le tort que lui avait causé son ancienne indifférence. Mais, quelle qu'ait pu être son attitude en France, il s'étend très volontiers, à Sainte-Hélène, sur ce sujet. Lorsqu'il se voit engagé dans quelque réminiscence pénible, il change la conversation en disant: «Parlons femmes!» Et alors, en bon Français, il aborde le sujet avec un entrain digne du Vert Galant. Pendant tout un dîner, par exemple, on discute la question de savoir si les femmes grasses sont plus belles que les femmes minces. Il disserte pour justifier la préférence qu'il accorde aux blondes sur les brunes. Il faut bien tuer le temps.