«Sous ce point de vue, je dois prier Votre Majesté de se rendre au château d'Édimbourg comme étant le séjour le plus convenable à la dignité de Votre Majesté, et le mieux fait, vu la distance de Londres, pour écarter tous les inconvénients qui pourraient résulter de l'opinion que l'arrivée de Votre Majesté dans mes États se rapportait à une démarche politique.»
À bord de la Troja cette déclaration, dont les formes courtoises atténuaient à peine la dureté, causa déception et colère.
—Je ne peux pas aller à Édimbourg! s'écria Louis XVIII. J'ai un établissement en Russie. Ma femme, ma nièce et mes serviteurs y sont encore. Ce n'est pas pour en former un autre en Écosse que je l'ai quitté. Si l'on ne veut pas laisser le comte de l'Isle débarquer ici, il repassera sur-le-champ en Suède.
En dépit de ce langage, il n'était pas disposé à repartir; il ne renonçait pas à vaincre la résistance inattendue qu'il rencontrait. Par son ordre, d'Avaray écrivit à Canning. Mais, au lieu de s'attacher à ôter tout prétexte à la malveillance de lord Hawkesbury, il semble s'être plu à en créer de nouveaux en insistant sur le caractère politique du voyage de son maître. «L'ennemi le plus redoutable du perturbateur du monde» était sur les côtes d'Angleterre. L'Angleterre refuserait-elle de le recevoir, d'établir avec lui «un concert de résolution, de plan et d'action, auquel pussent se rattacher les efforts de l'Europe gémissante, et d'une grande nation opprimée sous le joug d'un tyran abhorré»? Voudrait-elle repousser «cette ancre de salut» et blesser «la main généreuse» qui venait l'offrir?
D'Avaray développait longuement cette thèse, et terminait en invitant Canning «à ne pas perdre, pour la plus grande gloire du règne de Georges III», pour la sienne propre, «le puissant avantage de la sagesse du roi, de ses lumières, de ses vues généreuses et si bien faites pour rattacher à l'héritier de Louis XVI, c'est-à-dire au pacificateur futur de l'Europe, tous les intérêts et tous les cœurs.» Ministre responsable d'un gouvernement représentatif, Canning ne pouvait entrer dans ces vues, et encore moins les discuter. Il se borna, dans sa réponse, à justifier la conduite du cabinet, et, pour la solution du différend, à renvoyer d'Avaray au ministre chargé du département de l'intérieur.
Ces incidents se prolongèrent durant deux jours, envenimés par les polémiques des journaux. Le roi en attendait la fin à bord de la Troja, tandis qu'à Londres, La Châtre se multipliait pour en hâter la solution, courant en vain d'un ministre à l'autre, du baron d'Alopeus, chargé d'affaires de Russie, au baron d'Alderberg, représentant de la Suède. Loin d'être découragé par l'insuccès de ses démarches, il était d'avis que le roi devait passer outre et débarquer quand même. Une fois débarqué, on n'oserait l'expulser. Il le lui disait en lui rendant compte de ses efforts pour vaincre la résistance du gouvernement anglais: «Mais, ajoutait-il, il n'y a plus rien à calculer quand on a le pied sur la brèche, il faut que le corps y passe ... ou bien ... Je m'arrête; je me jette aux pieds de Votre Majesté, et je la supplie d'arriver, quelque obstacle qu'on veuille y apporter.»
D'après une version qui courut à Londres, le roi, docile à cet avis, se serait fait conduire avec ses compagnons, par un canot de la Troja, sur un point désert de la côte. Il y aurait débarqué sans rencontrer personne que deux douaniers à qui il aurait dit:
—Je suis le roi de France; je voyage sous le nom de comte de l'Isle; je vais à Londres.
La vérité est moins romanesque, et tout à l'honneur du duc d'Orléans. En apprenant les difficultés qui s'opposaient au débarquement du roi, il avait couru chez le prince de Galles, sollicité et obtenu qu'il s'entremît auprès des ministres, pour laisser Louis XVIII descendre à Yarmouth, en promettant en son nom qu'il ne paraîtrait pas à Londres. Ce premier point gagné, il s'était mis à la recherche d'une résidence provisoire qui ne fût ni trop près ni trop loin de la capitale. Le marquis de Buckingham, «connu par sa généreuse hospitalité envers les Français fidèles,» avait offert sa maison de Gosfield, dans le comté d'Essex, à environ quarante-cinq milles de Londres. Les ministres, ayant adhéré à ses arrangements, ne s'étaient alors occupés que de faire au comte de l'Isle un accueil digne de l'Angleterre et de lui, et des ordres étaient envoyés en conséquence à Yarmouth.
Dans la matinée du 1er novembre, le comte de La Châtre y apportait ces heureuses nouvelles. Monté à bord de la Troja, il y trouva le roi, son neveu et les Français réunis autour d'eux, en train de fêter, avec les officiers suédois, l'anniversaire de la naissance de Gustave IV. Après lui, se présentèrent les autorités maritimes, l'amiral Russell, et enfin, dans l'après-midi, Monsieur, le duc d'Orléans, le prince de Condé et le duc de Bourbon.