Saint-Priest, rebuté par les déceptions de son précédent voyage, refusa-t-il de se rendre à Saint-Pétersbourg? Allégua-t-il qu'après trois missions remplies par lui près de la cour de Russie, il avait le droit d'en décliner une quatrième? Est-ce d'Avaray, au contraire, qui, redoutant l'insuffisance du crédit de Saint-Priest et confiant dans ses propres talents, demanda la préférence au roi toujours empressé à lui fournir l'occasion de se distinguer? C'est ce que le silence des documents ne permet pas de préciser. Ce qu'ils établissent, c'est que d'Avaray partit le 11 février, accompagné de l'abbé de La Marre, accidentellement à Mitau. En présentant son favori au tsar dans une lettre autographe qui le qualifiait «comte d'Avaray, maréchal de camp, capitaine de mes gardes», le roi disait: «C'est lui qui m'a tiré de captivité, et depuis ce temps, il n'a cessé, par son zèle et ses autres bonnes qualités, de justifier l'amitié et la confiance que je lui porte.»
Après la brutale expulsion qui, au commencement de 1801, par l'hiver le plus rigoureux, jeta hors de Russie la famille royale réfugiée à Mitau, il n'est pas dans l'histoire de l'émigration d'épisode plus lamentable que ce voyage de d'Avaray. La correspondance permet d'en suivre jour par jour les humiliantes péripéties.
Le 16 février, d'Avaray, arrivé à Saint-Pétersbourg, se présente chez le comte Rostopchine, ministre des affaires étrangères, chez le prince Kotschoubey, vice-chancelier. Il n'est reçu ni chez l'un ni chez l'autre. À tous deux, il laisse un billet. «Le comte d'Avaray, capitaine des gardes de Sa Majesté très chrétienne, est venu pour avoir l'honneur de présenter son respect à M. de Kotschoubey. Il est porteur d'une lettre du roi son maître pour Sa Majesté Impériale et attend les ordres qu'elle daignera lui faire donner hôtel de Grodno. Samedi 5/16 février.» Billet analogue laissé chez Rostopchine. Kotschoubey ne répond pas. Rostopchine répond le lendemain. «Il le prie de vouloir bien remettre la lettre dont il est le porteur à Mgr le chancelier prince de Bezborodko. Sa Majesté Impériale l'Empereur ne tardera pas à donner ses ordres relativement à la présentation de M. le comte d'Avaray.» Quand d'Avaray se rend chez le chancelier, il est froidement accueilli. Bezborodko reçoit la lettre du roi «Très Chrétien», promet de la remettre à l'Empereur, mais ne prononce pas un mot qui puisse donner au pauvre ambassadeur un encouragement ou une espérance.
D'Avaray revient mélancoliquement «à son auberge». On l'y oublie pendant cinq jours. La cour est tout entière aux préparatifs des fêtes qui vont être données à l'occasion du mariage de l'archiduc Joseph d'Autriche avec une fille du tsar. Ce jeune prince est arrivé à Pétersbourg, sous le nom de comte de Burgau. Avec sa sœur, dite comtesse de Rombeck, il est descendu chez l'ambassadeur autrichien, M. de Cobenzl. Entre le palais impérial et l'hôtel de l'ambassade, ce ne sont qu'allées et venues, échanges de visites, réceptions et dîners. Dans ce joyeux mouvement, personne ne songe à d'Avaray. Il n'ose quitter sa chambre; il s'y morfond, ne connaissant à Saint-Pétersbourg que quelques rares Français. La Ferté, qui vient le voir, cherche vainement à le rassurer, à calmer les susceptibilités d'une vanité froissée.
Le 21 février, l'envoyé du roi se décide à se rappeler au souvenir de Rostopchine. Il écrit une lettre bien humble, dont tous les termes sont pesés. Il se met avec confiance sous la protection du ministre, lui parle avec émotion de son malheureux maître. Rostopchine se laisse toucher. Il envoie le même jour un avis officiel, portant que d'Avaray sera reçu par l'Empereur le dimanche suivant. Il y joint un mot de sa main: «Vous ne pouvez pas douter, Monsieur le comte, ni de l'intérêt de Sa Majesté Impériale pour tout ce qui regarde le roi votre maître, ni du plaisir qu'il aura de vous voir dimanche. Sa Majesté l'Empereur désire que vous demandiez une heure à M. le chancelier pour converser avec lui et lui exposer l'objet de votre mission, qui doit être d'une très grande importance dans un moment où les affaires prennent une tournure qui semble mettre une fin heureuse aux malheurs de la France.»
Ce langage rend confiance à d'Avaray. Le dimanche, il se rend au palais impérial. À peine distingué au milieu des courtisans, il est présenté à l'Empereur par le chancelier. Il a préparé le discours qu'il compte tenir; il n'a pas le temps de le prononcer. Paul Ier lui adresse un compliment flatteur; par un retour sur l'époque où d'Avaray contribua à faire sortir de Paris le comte de Provence, il rend hommage à sa fidélité; puis il s'éloigne avant que d'Avaray ait pu placer un mot. Sa physionomie a-t-elle déplu au tout-puissant et bizarre monarque? On ne sait; mais il ne sera plus admis en sa présence; c'est avec le chancelier qu'il lui est enjoint de conférer. À l'exception du chancelier, aucun personnage de la cour ne le recevra. Bezborodko lui-même ne lui accordera que deux audiences. C'est au moyen de notes envoyées par d'Avaray, auxquelles il est rarement répondu, que la négociation se poursuit.
Quant à Rostopchine, il se fait invisible. Vainement d'Avaray assiège sa porte, s'ingénie à trouver les moyens de l'ouvrir; elle reste close, «M. de Rostopchine ayant pour principe de ne voir pour affaires que les personnes avec lesquelles il se trouve en relations par ordre de Sa Majesté Impériale l'Empereur.» D'Avaray se plaint respectueusement: «Comme homme du roi, honoré de sa confiance et chargé d'une mission agréée par Sa Majesté Impériale, je vous ai suffisamment marqué, Monsieur, le désir extrême de vous entretenir; j'ai fait plus: comme individu et indépendamment des affaires qui m'amènent, j'ai cherché avec empressement l'occasion de vous voir et de faire ma cour à Mme de Rostopchine. Il m'a été facile de remarquer que j'avais à respecter des motifs de circonspection et de prudence, qui mettaient obstacle à mes vœux.»
Il renonce à arriver jusqu'à Rostopchine, mais non à l'intéresser à ses démarches. Il parvient à obtenir que le ministre consente à remettre ses notes à l'Empereur, à les appuyer auprès de Bezborodko; mais c'est tout. Il continue à être consigné. Il ne reçoit que de rares billets, les uns révélant la courtoisie, les autres affichant l'impertinence. S'il écrit que «c'est une cruelle chose d'avoir uniquement à traiter par écrit, et qu'il devient souvent impossible de s'y soumettre», on lui marque, par le silence, qu'il a déplu. Si, pour forcer la porte rigoureusement fermée, il transmet des rapports venus de France que, de Mitau, le roi lui a envoyés pour faciliter ses démarches, on objecte, en le remerciant, «que toutes ces nouvelles sont déjà parvenues à la connaissance de Sa Majesté Impériale l'Empereur, soit par ses ministres, soit par les employés dans les pays étrangers.»
Ainsi, peu à peu, se remplit la coupe des amères humiliations. Une dernière avanie est réservée à d'Avaray. Les ministres étrangers sont invités à dîner chez l'ambassadeur d'Autriche, à la table du comte de Burgau. Quelques Français, notamment l'abbé de Tressan, ont été admis au même honneur. Le représentant du roi de France a la douleur de n'être pas compris dans cette invitation. Ses compatriotes croient, pour ce motif, devoir la décliner, soit qu'il leur présente son exclusion comme une offense à leur commun souverain, soit qu'eux-mêmes aient spontanément ressenti cette injure. Quant à lui, il demande «comme une grâce la permission d'attendre, fût-ce dans l'antichambre, le moment où il pourra être admis à faire sa cour à M. le comte de Burgau». Mais le comte de Cobenzl l'accuse d'avoir provoqué le refus des invités français, parce qu'il n'en faisait pas partie, et accueille sa requête de telle sorte que d'Avaray se décide «à lui sauver jusqu'à l'inquiétude de rencontrer à sa porte un Français fidèle».
D'ailleurs, il ne se résigne pas sans bruit. Il écrit à la comtesse de Rombeck, au prince d'Auersperg, qui a accompagné l'archiduc et sa sœur à Saint-Pétersbourg. Ses lettres sont jugées offensantes pour le prince autrichien. Elles font scandale. Alors d'Avaray écrit à Rostopchine pour se justifier. Il lui raconte les faits, envoie copie de ses lettres, le fait juge et non sans amertume. «Sous les yeux du plus puissant souverain du monde, qui accueille et honore la fidélité et la vertu malheureuses, il faudrait, au moins en apparence, leur porter respect et particulièrement à une époque où tous les efforts doivent se réunir pour mettre un frein au triomphe de la félonie et du crime, ne pas couvrir de dédain ceux qui professent le plus haut de nobles sentiments.» La lettre est longue; elle remplit plusieurs pages d'une écriture fine, serrée, à peine lisible.