«Tous ces motifs réunis amenèrent le cardinal Fesch à me représenter comme la cause unique de l'opposition du Pape à l'Empereur. Et cependant le Pontife n'avait pas besoin de tels mobiles. Mais il suffisait à l'ambassadeur de France de voir que le Pontife résistait pour inculper résolûment son ministre. La douceur du caractère de Pie VII l'avait mal fait juger en France. On ne sut pas distinguer en lui ce besoin d'accomplir ses devoirs, besoin qui l'emportait sur tout le reste.
«Peu de paroles suffiront relativement à ce sujet, c'est-à-dire à l'opinion en partie personnelle et en partie inspirée que l'Empereur nourrissait sur mon compte. Il enjoignit à son plénipotentiaire de me communiquer la lettre qu'il lui écrivait de sa main,—ce qui fut fait.—En parlant de moi dans cette lettre, il termine ainsi: «Dites au cardinal Consalvi de ma part que, s'il aime son pays, il n'a qu'une de ces deux choses à faire: ou obéir à tout ce que je veux, ou bien laisser le ministère.»
«Je ne balançai point un instant quand le cardinal Fesch me fit lire cette dépêche, et je lui permis de répondre de ma part «que je ne ferais jamais la première des deux choses, et que j'étais tout prêt à exécuter la seconde dès que le Pape m'y autoriserait, afin de ne pas servir de prétexte ou de motif aux malheurs de mon pays.» Pendant tout le temps que le cardinal Fesch résida à Rome, les déclarations les plus impérieuses de l'Empereur contre moi, ainsi que les manifestes les plus péremptoires de sa volonté de ne plus me voir au ministère, et les menaces des plus grands périls pour l'État si je restais dans ma charge, se multiplièrent à l'infini. Les objurgations en vinrent à un tel point qu'il fallut toute la fermeté de ce caractère que l'Europe a depuis, et à son étonnement, admiré dans le Pape, pour le faire résister non moins aux efforts de la France afin de m'éloigner de ses côtés, qu'à mes prières elles-mêmes. Je les appuyais sur ma ferme résolution de n'être pas l'occasion de tous les désastres qui fondraient sur Sa Sainteté et sur l'État; je disais qu'il fallait avoir soin de ne pas inculquer aux peuples,—quoique sans raison,—la pensée que ces désastres arrivaient parce que le Pape avait voulu me défendre, et qu'on les aurait évités s'il eût consenti à me sacrifier, quoique sans motifs, aux exigences de celui qui pouvait tout. Le Pape resta toujours inébranlable. Il trouvait en moi, disait-il, des qualités appropriées à son service et à celui de l'Église attaquée; mais c'était un pur effet de sa bonté, car ces qualités n'existaient pas.
«La fureur de Napoléon, excitée par la résistance de Pie VII à ses desseins et à ses volontés, allait toujours croissant. Il avait substitué le ministre Alquier au cardinal Fesch, qu'il venait de rappeler, afin que son oncle et cardinal ne fût pas l'exécuteur de la dernière ruine de Rome, quand l'heure de la réaliser aurait sonné. Alquier reçut contre moi les mêmes ordres que son prédécesseur, mais ils n'eurent pas plus de succès pendant un certain temps. Enfin le moment arriva où le Pape crut opportun de se rendre à l'idée de ma retraite. Peu après, l'Empereur répondit au Pape par une note officielle de M. de Talleyrand, ministre des affaires étrangères. On reproduisait dans cette note les prétentions naguère exposées sur sa souveraineté dominatrice à Rome et dans l'État ecclésiastique,—sulla sua soprasovranità di Roma e Stato ecclesiastico,—ainsi que sur la dépendance du Saint-Siége.
«Cette note demandait encore que l'on entrât dans le système de l'Empereur, que le Pape fît la guerre aux Anglais, qu'il reconnût pour ses amis et pour ses ennemis les amis et les ennemis de l'Empereur, et autres choses semblables, conséquences de sa prétendue soprasovranità. Le Pape répondit négativement à tout. Mais pour prêter à cet acte solennel un plus grand poids, pour qu'on ne pût attribuer ce refus à une influence étrangère, mais à la volonté spontanée et propre du Saint-Père lui-même, et pour que ce refus pût amener chez l'Empereur la conviction que l'unique et véritable impossibilité de manquer à ses devoirs sacrés et non des inspirations étrangères empêchaient Pie VII d'accéder à ses désirs, on jugea que c'était le moment de compenser le nom définitif donné aux prétentions impériales, par le bonheur qu'il ressentirait en m'arrachant lui-même du ministère. On prouvait ainsi à Napoléon que le Pape faisait pour lui plaire, bien qu'à contre-cœur, tout ce qu'il était possible de faire, mais qu'il n'accordait pas ce que ses devoirs sacrés lui interdisaient de céder. Le Saint-Père se résolut d'autant mieux à consommer son sacrifice,—c'est ainsi qu'il l'appelait, dans sa bonté,—que les exigences de l'Empereur et les refus du Pape n'avaient pas été jusqu'alors livrés à la publicité. Il était donc permis d'espérer qu'après la satisfaction de mon renvoi obtenue, Napoléon se convaincrait de la réalité des obstacles s'opposant à ce que Pie VII adhérât à ses désirs, et que, dans ce cas, il se désisterait de ses prétentions. Il pouvait le faire sans froisser son amour-propre, justement parce que rien n'avait encore transpiré dans le public, ainsi que je l'ai dit. Je dois rendre justice à la droiture des intentions du Pape et à son excessive bonté envers moi. Il ne les fit céder qu'à cette considération puissante et ne se soumit qu'à ces réflexions. Il me sera permis de rendre encore justice, non à moi-même,—ce qui ne serait pas convenable,—mais à la vérité, sur une particularité qui me regarde. Je dirai donc que, quoique non-seulement je n'eusse pas ambitionné la secrétairerie d'État, mais encore que j'eusse fait tout mon possible pour en décliner les honneurs, cependant ce n'eût pas été au milieu des périls qui menaçaient le Saint-Siège et le Pape, mon grand bienfaiteur, que j'aurais privé l'un et l'autre de mes services, quels qu'ils fussent. Toutefois je me laissai guider dans ma conduite par la pensée dont je viens de parler. Il en coûta beaucoup à mon cœur à cause des circonstances, et aussi parce qu'il fallait quitter celui que je vénérais et chérissais tant.
«La chose ainsi arrêtée entre le Pape et moi, le même courrier extraordinaire portant à Paris le nouveau refus de Pie VII à propos des grandes affaires qui étaient l'objet des convoitises ambitieuses de l'empereur Napoléon, lui porta en même temps l'acceptation pontificale de mon éloignement du ministère, et la nomination de mon successeur. C'était le cardinal Casoni. Cela arriva le 17 juin 1806, si je ne me trompe. Je ne dois pas raconter la douleur du Pape et la mienne à cette séparation. Il me sera permis de dire seulement que ce ne fut pas sans des pleurs réciproques et que, dans la suite des temps, le Saint-Père ne démentit jamais son immense bienveillance envers moi.
«Je n'avais donc pas revu depuis mon arrivée le ministre Fouché. Voilà que ce soir-là, tandis que nous attendions la sortie des souverains de leurs appartements, il s'approche de moi, puis, me prenant par la main, il me conduit dans un coin du salon. Il me dit alors avec cordialité et intérêt: «Est-il vrai qu'il y a plusieurs cardinaux qui refusent d'assister au mariage de l'empereur?»
«À cette question, je me tus, n'ayant rien à riposter et ne voulant surtout désigner personne. Il ajouta: «Mon cher Monsieur le cardinal, ne savez-vous pas qu'en ma qualité de ministre de la police, je dois déjà être instruit avec certitude de ce que j'avance? Ma demande n'est donc que de pure politesse.»
«Forcé de répondre, je lui déclarai que je ne savais vraiment ni combien il y en avait, ni qui ils étaient, mais que lui, Fouché, s'entretenait avec l'un d'entre eux. Il s'écria alors: «Ah! que me dites-vous? l'Empereur m'en a parlé ce matin, et il vous a nommé dans sa colère; mais je lui ai affirmé que, quant à vous, il n'était pas à présumer que ce fût vraisemblable.»
«Je lui répétai que c'était vrai, et très-vrai. Il me plaça aussitôt sous les yeux les dangereuses conséquences d'une telle action, qui intéressait l'État, la personne même de l'Empereur, ainsi que la succession au trône, et qui prêtait tant de hardiesse aux mécontents. Il n'y eut rien au monde qu'il ne tentât pour m'amener à persuader aux autres d'intervenir ou tout au moins,—car il m'entendait répéter que cela n'était pas possible,—à intervenir moi-même. Il me faisait remarquer que le plus grand mal était de me voir parmi ceux qui refusaient d'assister au mariage; car, disait-il, vous marquez, après le concordat et après avoir été premier ministre si longtemps.» Il ajouta quelque chose sur les qualités personnelles qu'il rencontrait en moi, quoiqu'elles n'y fussent certainement pas.