À peine en possession de son poste, quand il eut vu de quoi il retournait, La Vauguyon s'efforça de la paralyser, sinon de la détruire. Pour se délivrer d'une opposition qui agissait en se dissimulant et pour la contraindre à s'exercer ouvertement, il imagina de pousser d'Avaray à satisfaire au désir du roi de le voir prendre part aux délibérations du conseil. D'Avaray se fit encore prier; puis il céda. La Vauguyon entreprit alors d'annihiler son influence en feignant de ne vouloir rien décider que d'accord avec lui. Il lui proposa dans ce but une sorte d'alliance; il espérait ainsi faire prévaloir son opinion, quitte à persuader au roi et à d'Avaray, ce qu'il supposait facile, qu'il s'inspirait de la leur pour déterminer la sienne. Ce fut cette finasserie par trop diplomatique, qui ouvrit les yeux à d'Avaray; rapidement, elle le mit en défiance contre le nouveau venu, en créant entre eux une rivalité dont les suites funestes ne révélèrent que trop les divisions qui régnaient dans l'entourage du roi.

Il était aisé de prévoir, dès ce moment, qu'en ces luttes intimes la victoire resterait à d'Avaray. C'était la conséquence des sentiments que le roi avait conçus pour lui. Aussi convient-il, avant d'aller plus loin, de dessiner le portrait de ce fidèle partisan de sa cause, celui des courtisans de son exil qui lui a prodigué le plus de zèle désintéressé, celui aussi qu'il a jusqu'au bout préféré à tous les autres, aimant à être guidé, conseillé, approuvé par lui, ne lui marchandant ni sa confiance ni son affection.

Depuis qu'ensemble ils s'étaient enfuis de Paris dans la nuit du 20 au 21 juin 1791[2], ils ne s'étaient jamais séparés. À toutes les étapes de l'exil, l'inlassable dévouement de ce rare serviteur avait revêtu un caractère héroïque. Le considérant comme un autre lui-même, ne lui cachant ni ses craintes ni ses espérances, ni ses regrets ni ses ambitions, ayant pris l'habitude de ne rien faire sans le consulter, Monsieur s'était promis, si jamais il devenait roi, non seulement de lui maintenir toute sa confiance, mais encore de la rendre éclatante en honorant d'Avaray de fonctions qui la légitimeraient.

Ainsi, allait se développer et devenir toute-puissante sur les affaires de l'émigration l'influence de ce gentilhomme originaire du Béarn, fils d'un maréchal de camp que la noblesse de l'Orléanais avait envoyé aux États généraux et à qui, aux beaux jours de Versailles, le comte de Provence avait accordé son amitié. Cette influence, on la verra, pendant quinze ans, s'exercer sans relâche en toutes les occasions importantes. Jusqu'au jour de sa mort, survenue à Madère en 1811, d'Avaray sera, on peut le dire, l'âme même de son prince, et, pas plus que lui, il ne désespérera jamais de la restauration, malgré les catastrophes et les revers.

Au conseil, c'est toujours son opinion qui finit par l'emporter, parce que c'est toujours à elle que se rallie le roi. Chaque matin, quand il n'est pas retenu au loin par quelque mission de confiance, c'est lui qui ouvre toutes les lettres. Après les avoir lues, il envoie au roi, dans la cassette qui les contient, le projet résumé des réponses qu'elles nécessitent ainsi que des annotations jetées en hâte sur des bouts de papier où il appelle son prince «mon cher maître», et sur lesquels celui-ci réplique par des observations ou des réflexions familières que lui ont suggérées les dires de «son ami». Chaque soir, avant de se mettre au lit, le roi va passer une heure chez d'Avaray. Ils causent ensemble des événements de la journée, des résolutions à prendre pour le lendemain, des moyens d'y rallier les conseillers qui seront, dans leur réunion quotidienne, sous la présidence du roi, appelés à les discuter.

Ceux-ci jalousent et redoutent d'Avaray. Mais tous rendent hommage à son dévouement; ils sont sensibles aux formes déférentes et courtoises dont il enveloppe ses idées. Ils le savent homme d'honneur et de loyauté, ennemi de l'intrigue, incapable d'une bassesse. Ils savent de même qu'on ne saurait longtemps lui résister sans encourir la disgrâce du maître. Comment douteraient-ils de la puissance du favori quand ils sont les témoins journaliers des traits de la confiance que le roi lui accorde, des services par lesquels d'Avaray se l'assure ou la justifie, comme, par exemple, lorsqu'il lui sauve l'honneur en le séparant de l'artificieuse comtesse de Balbi[3]? Ne savent-ils pas que le jour, 21 juin 1795, où le comte de Provence,—monseigneur le Régent, comme l'appelaient alors les émigrés,—a appris, par une communication du prince de Condé, la mort de Louis XVII, cette mort qui lui a valu la couronne, c'est à d'Avaray qu'il est allé d'abord en apporter la nouvelle?

«Le Régent descend chez moi précédé du comte de Cossé, écrit d'Avaray, dans ses notes quotidiennes[4]; leur visage m'effraye; je cherchais des forces contre quelque nouveau malheur que je ne pouvais prévoir, lorsque le Régent me dit après un moment de silence:

«—Le roi est mort.»

«Je reste sans parole, sans mouvement; puis, tout à coup, je me précipite sur sa main. Le comte de Cossé en fait autant. Mon maître nous serre dans ses bras. Je lui prédis alors sans hésiter que les malheurs et les crimes s'arrêteront à lui et qu'il sera le restaurateur de la France.»

Il est donc certain que la faveur de d'Avaray est bâtie à chaux et à sable; qu'à essayer de l'ébranler, on se briserait. Les courtisans du roi dans son exil en sont convaincus; ils se soumettent. Seul d'entre eux, La Vauguyon, pour avoir voulu y résister, sera chassé.