Fersen s'étant retiré, le roi et son conseiller délibérèrent sur la conduite à tenir. Si Louis XVIII se fût écouté, il eût répondu à l'empereur sur le ton dont on venait d'user avec lui, et ainsi qu'il l'avait fait quelques années avant, au podestat de Vérone. Mais d'Avaray le ramena au calme et conseilla «une fierté modeste». Quoiqu'on pût supposer que le séjour de la reine à Kiel n'était qu'un prétexte, et qu'il y avait parti pris d'éloigner le roi, il ne fallait pas cependant mettre l'empereur, en le bravant, dans l'impossibilité de revenir sur la résolution que révélait la lettre de Palhen, et, même en prévoyant qu'elle serait maintenue, il y avait lieu de songer aux nombreux Français venus à Mitau à la suite du roi et de ne pas attirer sur leur tête une mesure aussi brutale que celle dont lui-même était menacé. Désabuser l'empereur quant au motif qu'il alléguait, lui montrer la duchesse d'Angoulême errante et sans asile, attendre ensuite les événements, c'était, selon d'Avaray, tout ce qu'il convenait de faire. L'idée de confier à la princesse le soin de supplier l'empereur fut écartée: cette lettre serait regardée comme dictée par le roi; on aurait dit que «jouant la fierté, il chargeait sa nièce de s'humilier pour lui». Finalement, l'avis de d'Avaray prévalut, et le roi, après un entretien avec elle, qui mit en lumière une fois de plus son courage, sa grandeur d'âme et sa tendresse pour son oncle, écrivit à l'empereur:
«Monsieur mon frère et cousin, le général d'infanterie baron de Fersen s'est acquitté de la commission que Votre Majesté Impériale lui a donnée pour moi. On n'a pas rendu à Votre Majesté Impériale un compte exact de ce qui regarde la reine mon épouse: obligée de prendre encore cette année les eaux de Pyrmont et ne pouvant rester dans un lieu inhabitable l'hiver, sa santé, d'ailleurs, ne lui permettant pas de faire deux fois, en aussi peu de temps, un pareil voyage, elle a cherché et trouvé avec bien de la peine, un lieu où elle pût attendre la saison des eaux, et qui, dans aucun cas, ne peut, ni pour elle ni pour moi, devenir un établissement; s'il en eût été autrement, j'en aurais informé Votre Majesté Impériale. Je vais faire mes préparatifs et les passeports de Votre Majesté Impériale me trouveront prêt à partir, sans savoir où reposer non ma tête, ce serait peu pour moi, mais celle de ma nièce.»
Le lendemain, le roi écrivit à son frère pour lui annoncer son infortune. Mais ses angoisses n'eurent d'autres confidents que d'Avaray et Caraman. Elles s'aggravèrent bientôt d'un nouvel incident. La pension de janvier n'avait pas été payée à l'échéance accoutumée, malgré les promesses de Palhen; le temps s'écoulait sans qu'elle arrivât. Il fallut envoyer une estafette à Riga, où, à ce que prétendait le vice-gouverneur de Mitau, l'argent était resté. Ce ne fut qu'après une longue et cruelle attente, que le roi fut mis en possession des fonds qui constituaient son unique ressource.
Jusqu'au 20 janvier, on fut sans nouvelles du tsar. Mais, ce jour-là, Fersen reçut de nouveaux ordres qu'il dut communiquer au roi. Ils lui enjoignaient de s'éloigner de Mitau à bref délai. Ils étaient accompagnés des passeports nécessaires pour le voyage et de la lettre écrite au tsar par Louis XVIII, à qui elle était retournée sans avoir été décachetée[46]. Après cette communication, Fersen, sans chercher à taire sa douleur, se tenait debout devant le roi. Celui-ci soudain se mit à pleurer. Il rappela qu'on était à la veille du jour anniversaire de la mort de son frère; que sa nièce, enfermée dans ses appartements, célébrait, par le recueillement, par la prière, cette douloureuse commémoration.
—Dois-je troubler ses larmes et l'arracher à sa pieuse méditation? demanda-t-il.
Fersen, très ému, prit sur lui d'ajourner le départ au surlendemain. Le roi, toutefois, ne voulut pas laisser ignorer à la duchesse d'Angoulême le nouveau coup qui les frappait. Suivi de d'Avaray et de Caraman, il se rendit auprès d'elle. La porte était close, gardée par le fidèle Cléry, qui ne l'ouvrit que sur la demande instante du roi. La princesse se tenait agenouillée devant son aumônier, l'abbé Edgeworth, le même qui avait assisté Louis XVI à ses derniers moments. Surprise par la présence de son oncle, elle se leva, courut à lui, l'embrassa en l'interrogeant et apprit que l'asile de Mitau leur était définitivement retiré. Elle reçut cette nouvelle avec un grand courage, remerciant Dieu, dit-elle, de n'avoir à déplorer d'autre malheur que le sien et non celui de la France. Elle s'attacha à rassurer le roi. Elle serait heureuse partout où elle pourrait le suivre et vivre auprès de lui. Elle demanda ensuite s'il lui serait permis de consacrer à la mémoire de son père les deux jours suivants, ou si l'ordre de partir devait être exécuté sur-le-champ. Sur la réponse de son oncle, elle reprit ses dévotions.
Durant la journée, la nouvelle répandue dans Mitau y donna lien spontanément à une manifestation de sympathies et de regrets. La foule se porta aux abords du palais. Il y avait là, à en croire un témoin oculaire, des gens de toutes conditions, des femmes, des vieillards, des enfants. Le roi ayant paru avec sa nièce, il y eut une poussée de cette foule vers eux. On s'inclinait sur leur passage, on leur baisait les mains. La noblesse courlandaise eut sa part dans ces démonstrations. Sans craindre de paraître désapprouver la rigueur déployée contre les exilés royaux, elle sollicita l'honneur d'être admise à leur faire ses adieux; elle leur offrit aussi ses services en vue d'adoucir la cruauté du maître.
Pendant ce temps, la petite cour procédait aux préparatifs de son départ, au milieu d'incidents qui témoignaient du trouble général. Le gouverneur de Mitau, d'Arsenieff, croyait que la volonté exprimée par le tsar s'étendait aux gardes du corps. Sans pitié pour leur âge et leurs infirmités, il leur enjoignait de s'apprêter à suivre le roi. On eut beaucoup de mal à lui faire comprendre que l'uniforme russe dont ils étaient revêtus les protégeait, et qu'étant à la solde de l'empereur, ils devaient être considérés comme appartenant à ses armées. Il se laissa enfin convaincre et rapporta ses premières instructions.
Le roi adressa alors à ces braves gens la proclamation que voici: «Une des peines les plus sensibles que j'éprouve au moment de mon départ, est de me séparer de mes chers et respectables gardes du corps. Je n'ai pas besoin de leur recommander de me garder une fidélité gravée dans leur cœur et si bien prouvée par toute leur conduite. Mais, que la juste douleur dont nous sommes pénétrés ne leur fasse jamais oublier ce qu'ils doivent au monarque qui me donna si longtemps un asile, qui forma l'union de mes enfants, et dont les bienfaits assurent encore mon existence et celle de mes serviteurs.» Dans une autre proclamation, le roi chargeait «son cousin le duc d'Aumont» d'assurer à ceux de ses fidèles serviteurs qu'il ne pouvait emmener, que leurs traitements seraient continués et de leur exprimer, avec la douleur qu'il éprouvait en se séparant d'eux, l'espoir de les voir de nouveau réunis autour de lui. Dans cette même journée du 20, le roi fit rédiger par le comte d'Avaray une relation des événements qui avaient précédé son départ; ce récit fut envoyé à l'évêque de Tarbes et au bailli de Crussol à Londres, au cardinal Maury à Rome, à l'évêque de Nancy à Vienne, à Thauvenay à Hambourg et à d'André, celui de ses agents en Suisse qui lui inspirait le plus de confiance.
Il fallait encore décider en quel pays il porterait ses pas. Ce fut l'objet d'une délibération qui eut lieu, dans la soirée, entre lui et ses conseillers. On examina la situation politique des diverses cours de l'Europe, au point de vue de ce qu'on pouvait attendre d'elles. La cour d'Espagne fut écartée, à cause de ses relations avec le gouvernement français. On pouvait compter sûr un bon accueil en Suède et en Danemark. Mais, la rigueur de la saison ne permettait pas de s'y rendre avant le printemps. La malveillance avérée de l'Autriche faisait supposer que le cabinet de Vienne ne consentirait pas à recevoir un Bourbon. Le roi des Deux-Siciles était disposé sans doute à offrir un asile à son parent malheureux et proscrit. Mais, pour arriver dans ses États, il fallait traverser des contrées surveillées par la République.