«Si notre malheur était tel, c'est avec plus de force et de résolution que jamais, que je dirais: Il faut m'éloigner, car il ne m'appartient pas de rester dans une sorte de lutte avec un prince aussi près du trône, avec l'époux de celle que le roi appelle, avec tant de sentiment et de raison, son ange consolateur, et qui bientôt, dans ce conflit, et sans que je puisse m'en plaindre, aurait perdu pour moi toute bienveillance. Je le répète donc avec douleur,—mais, mon cher maître, c'est en invoquant mon devoir et mon dévouement pour vous:—si monseigneur le duc d'Angoulême ne m'exprime pas sa peine de m'avoir affligé injustement (ce que, dans aucun cas, il n'appartient au roi de lui prescrire), je prie Sa Majesté de vouloir bien m'accorder un congé de trois mois, à la suite duquel je me renfermerai dans les devoirs de ma place.»
Nous avons insisté à dessein sur cet incident parce qu'il met en lumière l'hostilité qui, depuis si longtemps, existait entre l'émigration de Londres, toute dévouée au comte d'Artois, et les gentilshommes qui s'étaient groupés autour de son frère. Pour quelques-uns de ceux-ci, d'Avaray était un objet de jalousie et d'animadversion, mais pas au même degré que de la part de l'entourage de Monsieur, sourdement irrité de ne pouvoir, autant qu'il le prétendait, diriger le parti royaliste, et de sentir à tout instant ses prétentions entravées par la volonté du roi, dont d'Avaray était l'interprète.
Un rapport sans signature, dont l'auteur, qui le destinait à Louis XVIII, nous est inconnu, constate qu'à ce moment la coterie des émigrés de Londres s'agitait et se dépensait en de multiples intrigues, dont, fort heureusement, les rivalités intimes qui s'y étaient déchaînées atténuaient le danger. Chacun entendait diriger, blâmait les tentatives en vue desquelles il n'avait pas été consulté, n'attachait de prix qu'aux siennes, et, souvent, poussait l'esprit de révolte jusqu'à méconnaître les ordres du roi, en alléguant que, si loin de la France, il ne pouvait se prononcer sur les mesures à prendre à l'effet d'y rendre plus prochain son retour.
Parmi ces agitateurs plus ou moins en opposition avec Louis XVIII, encore qu'ils évitassent de le laisser paraître, ce rapport désignait le comte de Puisaye, le comte d'Antraigues, le chevalier de Bruslard, l'abbé de Guillevic et le comte de Bar, anciens chouans; Bertrand de Molleville, jadis ministre de Louis XVI; le représentant Henry La Rivière, proscrit au 18 fructidor; le libraire Fauche-Borrel, le metteur en scène de l'affaire Condé-Pichegru et de l'intrigue Barras. Quelques-uns de ces personnages, plus ou moins compromis dans des aventures antérieures, vivaient d'expédients, menaient une existence sans dignité.
À propos de Dumouriez, le rapport disait: «Il faut à cet homme, quoique vieux, une femme qui le mène par le bout du nez. Celle qui est aujourd'hui en possession de cette charge, est une Mme de Saint-Martin. M. de Saint-Martin est un Piémontais qui trouve cet arrangement très convenable, et, dans ce tripotage, existe un fils Saint-Martin, aussi jacobin qu'on puisse l'être. Mme de Saint-Martin était, à Rastadt, la maîtresse du représentant; à Hambourg, la maîtresse de l'abbé de Lageard qui, voulant rentrer en France, sut saisir l'occasion de s'en débarrasser en faveur de Dumouriez, auprès duquel elle succéda à la sœur de Rivarol (Mme de Beauvert), qui voulait également rentrer[80]. Si Dumouriez est avide d'argent, c'est pour elle ou pour le manger, car sa moralité a toujours été celle d'un flibustier.»
Dans ce milieu, d'Avaray était détesté. On doit croire, par conséquent, que le conflit qui venait d'éclater entre lui et le duc d'Angoulême y fut colporté, exagéré, travesti, et l'on n'a aucune peine à comprendre que, las d'être l'objet des calomnies qui s'y donnaient librement cours, il ait ardemment voulu s'éloigner pour quelque temps. Son absence, d'ailleurs, ne fut pas longue, et bientôt, à peu près rétabli, il vint reprendre sa place auprès du roi. À ce moment, le duc d'Angoulême partait pour Mitau, afin d'en ramener en Angleterre sa femme et la reine, ainsi que le personnel de leurs maisons. Il est probable que son absence facilita la reprise, par d'Avaray, des fonctions qu'il remplissait auprès du roi. Mais, malgré l'éclatante protection dont le couvrait celui-ci, les préventions dont il était l'objet ne désarmaient pas, et jusqu'à son départ pour Madère, en 1810, il eut fréquemment à en souffrir, même de la part du comte d'Artois. Le roi n'en souffrait pas moins que lui, et les incidents qui viennent d'être racontés ajoutèrent à ses préoccupations et à ses peines.
Ce ne furent pas les seules que lui valut son établissement en Angleterre. Lorsqu'au mois de juillet 1808, sous la conduite du duc d'Angoulême, la reine et sa nièce, suivies de toute la petite colonie de Mitau, composée d'environ quatre-vingts personnes, arrivèrent à Gothembourg, afin de s'embarquer sur l'Euryalus, frégate anglaise, mise à leur disposition par le gouvernement, pour les transporter à Yarmouth, on leur opposa un ordre de l'Amirauté, enjoignant au commandant de ne prendre à bord que vingt passagers, maîtres ou valets. Cette mesure, dont la courtoisie de l'amiral James Saumarez atténua finalement la rigueur, donna lieu, entre le roi et les ministres, quand elle fut connue à Londres, à des négociations irritantes.
L'archevêque de Reims, Mmes de Luxembourg, de Damas, de Narbonne, le duc d'Havré, le comte de Blacas, furent au moment de ne pouvoir partir avec les princesses. «Sûrement, écrivait le duc d'Angoulême à l'amiral, la suite de notre roi, de notre reine et de nous est nombreuse. Mais, il faut penser que nous n'avons pas de patrie et que nous vivons comme un peuple nomade, emportant tout ce que nous avons avec nous, quand nous changeons de pays.» Ainsi, jusqu'au bout, depuis son arrivée sur les côtes britanniques, tout avait été pour le roi humiliations et déceptions. Pour les lui faire oublier, il ne fallut pas moins que la joie qu'il goûta au mois d'août, en voyant enfin, après tant d'aventures, sa famille réunie autour de lui dans la mélancolique demeure de Gosfield.
Une imprudence de son frère, dont celui-ci essaya de rejeter la responsabilité sur d'Avaray, vint rendre plus difficile la situation du roi vis-à-vis du ministère. Les nouvelles arrivées d'Espagne avaient annoncé l'abdication de Charles IV et l'avènement de Joseph. En les recevant, le roi adressa à Canning une note, dans laquelle il insistait pour que le roi de Naples, en sa qualité de Bourbon, fût nommé régent d'Espagne et reconnu, sous ce titre, par les puissances. Cette note devait rester secrète. Toutefois, désirant la communiquer au prince de Castel-Cicala, ambassadeur des Deux-Siciles à Londres, il chargea son frère de cette communication. Monsieur était lui-même en instances auprès du cabinet britannique, pour se faire envoyer en Espagne avec ses fils ou au moins avec l'un d'eux. Il agissait dans le même sens auprès des délégués des Juntes royalistes, récemment débarqués à Londres pour solliciter des secours en faveur des insurrections qui se propageaient en Espagne.
À peine en possession de la note du roi, qu'il ne devait communiquer qu'à l'ambassadeur napolitain, il s'empressa de leur en donner connaissance, et prenant prétexte de la communication qui en avait été faite à Canning par d'Avaray, au nom de Louis XVIII, il la leur présenta comme ayant reçu l'approbation du ministère. Ce trait de légèreté provoqua, dans le gouvernement, une protestation énergique. De leur côté, les envoyés espagnols écartèrent avec dédain les offres du comte d'Artois et refusèrent la régence du roi de Naples, lequel, d'ailleurs, n'avait pas été consulté. Louis XVIII, très mortifié par cet incident, essaya d'en conjurer les suites en envoyant au peuple espagnol une proclamation qu'il ne soumit aux ministres qu'après qu'elle fut partie. Elle lui valut un nouveau désaveu de leur part, dans lequel était rappelée avec acrimonie la conduite du comte d'Artois vis-à-vis des délégués des Juntes. Le roi et son frère eurent à ce sujet une discussion assez vive. Mais bien plus grave fut celle qui eut lieu ensuite, entre le comte d'Artois et d'Avaray auquel le prince, lui imputant ses propres torts, reprocha «de mal conduire les affaires».