Dumouriez, qu'il a retrouvé au camp des Confédérés, n'a pas été plus heureux que lui ni mieux traité: «C'est un homme de beaucoup d'esprit, dit-il, et une très forte tête, quoique très chaude.»
Voltaire, mis au courant de l'escapade du chevalier, ne l'approuvait guère, mais dans sa correspondance avec Catherine il en parlait sur un ton badin qui dissimulait mal les inquiétudes très vives qu'il éprouvait pour son jeune ami:
«Si je questionnais le chevalier de Boufflers, je lui demanderais comment il avait été assez follet pour aller chez ces malheureux confédérés qui manquent de tout, et surtout de raison, plutôt que d'aller faire sa cour à celle qui va les mettre à la raison; je supplie Sa Majesté de le prendre prisonnier de guerre; il vous amusera beaucoup; rien n'est si singulier que lui, et quelquefois si aimable. Il vous fera des chansons, il vous dessinera, il vous peindra, etc.[ [75].»
Mais Catherine n'entendait pas raillerie sur la politique et elle écrit d'un ton bien peu rassurant pour le chevalier, si les hasards de la guerre le font tomber entre ses mains:
«J'ai un remède, pour les petits-maîtres sans aveu qui abandonneraient Paris pour servir de précepteurs à des brigands. Ce remède vient en Sibérie, ils le prendront sur les lieux.»
Désolé de la vie inactive qu'il mène, furieux d'avoir été joué, Boufflers, qui ne voit pas d'issue favorable et prochaine, se décide à retourner à Vienne.
En route il s'arrête à Presbourg et c'est de là qu'il écrit à Mme de Choiseul en lui expédiant un souvenir du pays:
«Presbourg, 21 avril 1771.
«J'ai l'honneur de vous envoyer, madame la duchesse, une caisse de vins de Tokay bien proportionnée à votre ivrognerie. Il y en a de quatre espèces différentes, parce que je ne sais pas si vous aimez à boire tous les jours le même vin. Je voudrais bien arriver à Chanteloup en même temps que mon magnifique présent, mais il faut que je reste encore quelque temps dans ce pays-ci... (Il lui raconte ses déconvenues.)