La reine ne s'était pas laissée convaincre par ce sévère avertissement. Elle avait écrit au tsar pour obtenir que la présence de la Gourbillon fût imposée au roi. Mais celui-ci agissait de son côté et obtenait du tsar l'ordre de ne pas permettre à Mme de Gourbillon de résider à Mitau et son internement dans une ville frontière. Paul Ier ne répondit pas à la demande de la reine et la renvoya au roi. Le 12 juillet, Louis XVIII le remerciait: «Je suis sensiblement obligé à Votre Majesté Impériale de la communication qu'elle veut bien me faire et la prie d'excuser une démarche inconsidérée dont j'ai lieu d'être blessé. L'avis que Votre Majesté Impériale me donne me servira, j'espère, à empêcher que pareille chose n'arrive à l'avenir. En tout état de cause, je conjure son amitié de supporter une importunité qu'il me coûte beaucoup de lui occasionner, mais qui prévient des inconvénients importants pour mon intérieur, que je ne détaille pas ici pour ne pas abuser de la patience de Votre Majesté Impériale. Je la supplie donc de regarder comme non avenue toute démarche ultérieure relative à la dame Gourbillon, qui se ferait à mon insu, s'il m'était permis de supposer qu'il en survînt encore.»
Malgré les résolutions formelles dont témoignent ces lettres, la reine avait passé outre. Mme de Gourbillon, à sa demande, l'avait accompagnée et osa entrer à sa suite dans Mitau. Mal lui en prit. Tandis que les voitures de la reine traversaient la ville pour se rendre au château, on vit l'une d'elles se détourner et aller droit à la maison du gouverneur. Dans cette voiture se trouvait la lectrice. Chez le gouverneur, on lui signifia un ordre, en vertu duquel elle devait être ramenée à la frontière. Elle poussa les hauts cris. Debout sur le perron de l'hôtel du gouverneur, elle proférait contre le roi de grossières injures. La foule s'était amassée, commentait avec passion l'événement. Cette scène scandaleuse ne prit fin que par l'incarcération de la Gourbillon, qui fut, dès la même nuit, conduite à Vilna.
Pendant ce temps, au palais, la reine, encore vêtue de ses habits de voyage, se livrait à un accès de violence et de larmes, refusant d'entrer dans ses appartements, criant qu'elle voulait partir plutôt que de rester séparée de celle à qui le roi faisait remonter à tort, disait-elle, la responsabilité de la mésintelligence qui avait trop longtemps régné entre eux. Il fallut pour l'apaiser que Louis XVIII, faisant acte de volonté et d'énergie, déclarât qu'il ne la laisserait pas repartir.
L'arrivée de Madame Royale, qui eut lieu le lendemain, effaça la douloureuse impression causée par cet événement. La journée du 3 juin peut être considérée comme la plus heureuse de toutes celles qu'avait vécues Louis XVIII depuis sa sortie de France. La nuit avait porté conseil à la reine; elle avait recouvré son calme, et, quoiqu'elle eût longtemps vécu en mésintelligence avec son époux, ils se réjouissaient de se trouver réunis en un moment aussi solennel. Ils allèrent ensemble, au delà de la banlieue de Mitau, au-devant de leur nièce, le duc d'Angoulême avec eux. La première, elle vit leur voiture, fit arrêter la sienne, et, se précipitant au-devant du roi qui mettait pied à terre aussi vite que le lui permettait son obésité, vint tomber à genoux devant lui. Il la releva, la pressa contre son cœur, la poussa contre la reine, qui, l'ayant embrassée, la céda au duc d'Angoulême. Très ému, très pâle, «le jeune homme» ne put que balbutier quelques mots en baisant la main de sa cousine, dont la présence l'intimidait moins cependant que celle du roi, dont la tendresse rayonnante se manifestait si bruyamment, que, s'il eût été plus jeune, on aurait pu croire que c'était lui le fiancé. Plus encore que le jeune prince, n'en avait-il pas tenu la place pendant ces longues fiançailles?
Une heure plus tard, les gens restés au château entendirent sa voix retentir sous les vieilles voûtes de l'ancienne demeure des ducs de Courlande.
—La voilà! La voilà! criait-il.
Tous accoururent; ils furent admis à offrir leurs hommages à la nouvelle venue, qui, dans ce morne exil, allait faire fleurir un peu de bonheur. Le pressentiment qu'en avait le roi explique la joie qui débordait de son regard et de sa bouche. Après quatre années d'attente, il voyait enfin ses efforts couronnés et ses vœux les plus ardents réalisés. Il avait voulu se donner une fille; il la possédait, et combien digne de son amour!
Le mariage fut célébré le 10 juin, dans la chapelle du palais, en présence de tous les Français présents à Mitau, des personnages officiels russes et des délégués de la noblesse de Courlande. Le cardinal de Montmorency, grand aumônier de la cour, officiait, assisté des abbés Edgeworth et Marie, aumôniers ordinaires. La veille, dans le cabinet du roi, à huit heures du soir, avait été signé le contrat: contrat laconique, contrat d'exil, qui ajournait à des temps plus heureux la constitution de l'apport des époux. Le comte de Saint-Priest en donna lecture. «Lorsqu'il prononça les noms de Louis XVI et de la feue reine, Mme Thérèse éprouva une vive émotion, qui fut remarquée, mais qu'elle surmonta promptement.»
Le même jour, était arrivé un envoyé de Paul Ier, lui apportant un collier en brillants et une lettre. «Vos malheurs, vos vertus et votre courage héroïque, lui disait le tsar, vous assurent à jamais l'estime et l'intérêt de tous les êtres bien pensants et sensibles. Soyez heureuse au sein de votre famille qui vous chérit, et ne quittez mes États que pour rentrer en France et n'y voir que le repentir d'une nation qui pleure les crimes des scélérats qu'elle a eu le malheur de produire.» Le tsar avait en outre accepté de signer au contrat et d'en recevoir le dépôt dans les archives de l'Empire. Après la cérémonie religieuse, le roi annonça officiellement le mariage à toutes les cours et aux membres de sa famille.
«Les portraits que vous avez vus de notre fille, mandait-il à son frère, ne peuvent vous en donner une idée exacte; ils ne sont point ressemblants. Elle ressemble à la fois à son père et à sa mère au point de les rappeler parfaitement, ensemble et chacun séparément, suivant le point de vue où on l'envisage. Elle n'est point jolie au premier coup d'œil; mais elle s'embellit à mesure qu'on la regarde, et surtout en parlant, parce qu'il n'y a pas un mouvement de sa figure qui ne soit agréable. Elle est un peu moins grande que sa mère, et un peu plus que notre pauvre sœur. Elle est bien faite, se tient bien, porte la tête à merveille et marche avec aisance et grâce. Quand elle parle de ses malheurs, ses larmes ne coulent pas facilement, par l'habitude qu'elle a prise de les contraindre; afin de ne pas donner à ses geôliers le barbare plaisir de lui en voir répandre. Mais ceux qui l'écoutent pourraient difficilement retenir les leurs. Cependant, sa gaieté naturelle n'est point détruite; ôtez-la de ce funeste chapitre, elle rit de bon cœur et est très aimable. Elle est douce, bonne, tendre; elle a, sans s'en douter, la raison d'une personne faite. Dans le particulier, elle est avec moi comme notre pauvre Élisabeth aurait pu être avec mon père; en public, elle a le maintien d'une princesse accoutumée à tenir une cour. Non seulement elle dit des choses obligeantes à tout le monde, mais elle dit à chacun ce qu'il convient de lui dire. Elle est modeste, sans embarras, à l'aise sans familiarité, innocente enfin comme le jour de sa naissance. J'en ai vu la preuve positive dans la manière dont elle a été avec mon neveu depuis mardi, jour de son arrivée ici. Enfin, pour achever, j'ai reconnu en elle l'ange que nous pleurons.»