«Sire, si Votre Majesté parvenait à faire sentir à la France et au monde l'instabilité du gouvernement de Buonaparte, et l'impossibilité qu'il s'arrête jamais à aucunes bornes, Elle aurait fait un pas énorme vers son renversement. Si j'ose le dire comme un résumé de cette longue lettre, le plus grand parti que Votre Majesté puisse tirer de la circonstance actuelle, me paraît donc être de faire sentir que la force des choses rend instable toute institution politique dont la base est révolutionnaire, et que celle de la prétendue dignité impériale l'est autant que l'était la base du Comité de salut public; que chaque changement survenu en France, depuis l'horrible époque que je n'ose rappeler, a toujours tendu à la concentration du pouvoir dans les mains d'un seul, et s'est toujours rapproché graduellement de la forme de gouvernement sous laquelle la France est demeurée pendant tant de siècles; que l'établissement de la prétendue Monarchie Impériale est une preuve bien forte de la nécessité de ce rapprochement; et que, comme toutes les institutions qui l'ont précédée, elle servira quelque jour à prouver l'insuffisance de tout ce qui n'est pas la véritable Monarchie Royale, c'est-à-dire, le souverain légitime.»
Les considérations développées dans cette lettre témoignaient de trop de sagesse et de prévoyance pour que l'esprit judicieux de Louis XVIII n'en fût pas frappé. Elles contribuèrent à fortifier la confiance que lui inspirait déjà le duc d'Orléans, dont il regretta l'absence, mais dont il ne put qu'approuver la déférence, comme celle du prince de Condé, au désir du gouvernement britannique, qui s'était opposé à leur voyage.
Les longues conversations du roi avec son frère roulèrent sur les idées exposées dans cette lettre et sur toutes celles que pouvait leur suggérer la situation de l'Europe. Ils avaient tant d'espérances communes à échanger, tant de projets à étudier, tant de malentendus antérieurs à éclaircir! Au cours de leur séparation, ils avaient été souvent divisés d'opinions. Mais, ces divisions étaient moins l'œuvre de leur cœur que celle de leurs partisans. En se retrouvant face à face, en s'expliquant sans intermédiaires, il leur fut aisé de se mettre d'accord. Leurs griefs s'évanouirent; leurs épanchements ne se ressentirent à aucun degré des dissentiments que nous avons racontés. Les circonstances d'ailleurs ne leur étaient plus favorables au même degré qu'autrefois. Les victoires successives de Bonaparte affermissaient la couronne impériale sur son front. Tour à tour, les souverains de l'Europe reconnaissaient en lui le fait accompli. Le triomphe du droit sur la force était indéfiniment ajourné. Le rôle du prétendant ne pouvait plus être qu'un rôle d'observation et d'expectative. Quand les champions d'une même cause sont désarmés, réduits à l'impuissance, il leur est facile de vivre unis.
Les princes examinèrent leurs chances, sans illusion comme sans défaillance; mais, toujours animés d'un indomptable espoir, ils se fortifièrent dans le dessein de ne rien changer à leur attitude. La protestation que le roi entendait élever contre Bonaparte était considérée par lui comme un moyen efficace de servir la cause de la légitimité. Il en communiqua l'ébauche au comte d'Artois. Ils en discutèrent ensemble l'opportunité et les termes, les idées générales, le fond et la forme. Le comte d'Artois, tout en approuvant le projet, ne parut pas convaincu de l'utilité d'une publication immédiate. Il y voyait plus de dangers que d'avantages. Mais, son frère persistant à défendre son œuvre, il n'osa la condamner. Il fut seulement décidé qu'il emporterait l'ébauche à Londres, pour la soumettre aux autres princes et qu'il ferait connaître au roi leur sentiment. En attendant, le roi, d'accord avec d'Avaray, perfectionnerait la rédaction de ce document en s'entourant, autant qu'il le pourrait, de conseils et de lumières.
Il l'avait envoyé déjà, par le comte de Blacas, à Joseph de Maistre, à Saint-Pétersbourg. Il eût voulu pouvoir le soumettre au roi de Suède. Mais Gustave IV, qui avait promis de venir à Calmar, renonça, au dernier moment, à quitter Stockholm. À sa place, il envoya le maréchal comte de Fersen, le vieil ami de Louis XVI et de Marie-Antoinette, resté indomptablement fidèle aux Bourbons. Au nom de son maître, Fersen déclara aux princes que, quelque risque qu'il pût courir en leur donnant un asile en Suède, il ne le leur refuserait pas, s'ils étaient empêchés d'en trouver un autre. Il approuva la protestation. Contrairement à l'avis du comte d'Artois, il conseilla de la publier sans retard, insistant seulement pour qu'elle ne fût pas datée du territoire suédois. Mais la publication immédiate était impossible pour des motifs que Louis XVIII exposait au roi de Suède, en lui écrivant, le 17 octobre.
En partant de Riga, il avait annoncé à l'empereur Alexandre l'intention où il était d'adresser la parole à son peuple; mais, en même temps, il lui avait promis de lui faire connaître cet acte avant sa publication. Il l'avait prié aussi, à l'exemple de son père, qui fit déposer dans les archives du sénat le contrat de mariage du duc d'Angoulême avec Madame Royale, de vouloir bien être le dépositaire de sa déclaration. «Je n'ai point encore reçu la réponse de Sa Majesté Impériale, disait-il au roi de Suède. Je désirerais la recevoir ici. Mais la saison avancée ne me permet pas davantage d'y prolonger mon séjour, et j'ai été obligé de fixer mon départ au commencement de la semaine prochaine. Quant à la date que portera ma déclaration, j'ai promis à Votre Majesté, et j'y serai fidèle, que rien ne porterait celle de ses États. Votre Majesté pense qu'il suffirait qu'elle ne portât celle d'aucun lieu. Mais, qu'elle me permette de le lui dire, tout le monde saura l'instant de mon arrivée et celui de mon départ de Suède. Je craindrais de la compromettre encore et ce sera du sein même de la mer que je la daterai. J'aurai ainsi un lieu positif qui n'appartient à personne, et je n'appréhenderai pas que mon malheur s'attache à ceux dont l'amitié fait ma consolation.»
Cette lettre était à peine partie, lorsqu'en arriva une du baron de Hardenberg, chancelier de Prusse, à l'adresse du comte d'Avaray. Chargé de la faire parvenir à son destinataire, le ministre prussien à Stockholm, baron de Tarrach, l'avait envoyée à Calmar. En l'absence de d'Avaray, c'est le roi qui la reçut. Il apprit ainsi que la Prusse, considérant l'entrevue de Calmar comme un acte hostile à la France, aggravée par l'approbation qu'y avait donnée le roi de Suède, jugeait «que le séjour du comte de l'Isle à Varsovie était incompatible avec la neutralité que Sa Majesté prussienne entendait garder».
Au moment où Louis XVIII avait quitté sa retraite de Pologne, la Prusse songeait déjà à cette grave mesure, dont les nouvelles reçues de Calmar et une lettre du comte de l'Isle au roi Frédéric-Guillaume avaient hâté l'exécution. Dès le 2 octobre, ce souverain écrivait de Potsdam à Hardenberg: «J'ai rempli jusqu'au bout les devoirs de l'hospitalité. Cependant, ces éternelles réclamations sont désagréables. L'existence équivoque de mes hôtes fait désirer d'en être quitte avec honneur. On a recueilli des particuliers. S'ils quittent la Prusse pour jouer ailleurs un autre rôle, il ne convient pas qu'ils y rentrent. De même, si les craintes qu'on a se réalisent, il faut chercher le mode le plus décent de s'épargner les embarras auxquels exposerait infailliblement le séjour des princes.»
Hardenberg approuvait les vues du roi; trois jours après, il lui répondait: «Le cas est pressant. La conduite des princes est désapprouvée même par les ennemis de la France. On préparera sans doute à Calmar des manifestes qui déplairont nécessairement à l'empereur Napoléon et qui ne verront le jour qu'après le retour du comte de l'Isle à Varsovie. Il serait trop tard pour parer le coup. Donc, il faut s'expliquer d'avance avec le comte de l'Isle et je vais charger de ce soin M. de Tarrach.» L'explication ne fut pas longue. Elle se borna, de la part du diplomate prussien, à un avis verbal qui était en réalité un ordre d'expulsion et à la remise de la lettre écrite par Hardenberg à d'Avaray. Après l'avoir lue, le roi déclara «qu'elle n'exigeait pas de réponse».
Il était donc de nouveau sans asile. Il pouvait, à la rigueur, rester en Suède. Mais, outre qu'il craignait de n'y pas être toujours à l'abri des entreprises de Napoléon, il lui répugnait d'exposer sa femme et sa nièce aux périls de la traversée. D'autre part, il se croyait assuré de la générosité du tsar. Ayant sollicité de lui la faveur de retourner à Mitau, si la Pologne lui était fermée, il attendait avec confiance. C'est là ce qui explique pourquoi la décision du monarque prussien ne parvint pas à lui faire regretter d'être venu à Calmar, et pourquoi il ne mit aucun retard à en partir. Le 22 octobre, les princes échangeaient de tendres et derniers embrassements. Le comte d'Artois remontait à bord de la frégate qui l'avait amené et qui mettait aussitôt à la voile pour l'Angleterre. Le roi et le duc d'Angoulême partaient le lendemain, se dirigeant vers Riga.