Le 17 février, les commissaires se réunirent chez le comte de La Châtre. Mais, Puisaye ne comparut pas. Une lettre apportée en son nom vint déclarer qu'il n'était pas sujet français, qu'il ne communiquerait ses papiers qu'à trois personnes, lorsque le roi en aurait pris connaissance et décidé s'il ne s'y trouvait rien de nature à le compromettre. D'ailleurs, Puisaye avouait n'avoir pas encore ces pièces en mains: «C'est-à-dire, objecta quelqu'un, qu'elles ne sont pas encore fabriquées.»
Cette fois, le roi laissa éclater sa colère:
—C'est à moi désormais, s'écria-t-il, de prendre les résolutions que je croirai devoir adopter dans ma sagesse, envers un homme qui, me déclarant qu'il n'est plus mon sujet, prétend fixer la mesure de ma confiance à l'égard de ceux, qui se font gloire de l'être.
Cependant, sur les conseils des ministres anglais et sur les instances de d'Avaray, il consentit à réduire à trois membres la commission d'enquête. Le duc de Lorge, le comte de La Bourdonnaye et M. de Bourgblanc se transportèrent chez Puisaye. Ce dernier leur adjoignit le comte de Jarnac. L'enquête eut lieu. Puisaye, ayant produit une pièce grave, fut invité à la porter au roi et la lui soumit. D'Avaray était présent. Il lui fut facile de prouver que sa signature avait été contrefaite. Puisaye dut se retirer, couvert de confusion. Le roi chargea, le 1er mars, le comte de La Châtre d'aller rendre compte de l'incident au marquis de Wellesley, membre du cabinet anglais:
«Que ce ministre sache que M. de Puisaye a été convaincu, devant les princes de ma famille, devant moi, et en présence des personnes les plus recommandables de l'émigration, d'avoir produit un faux à l'appui des calomnies les plus criminelles contre le duc d'Avaray et contre moi-même, et, qu'en conséquence, je l'ai fait rayer de la liste des officiers généraux à mon service. Je désire que vous profitiez de la circonstance pour voir, d'une manière précise, les moyens que le gouvernement a pris pour arrêter désormais les libelles scandaleux que ce scélérat fait annuellement paraître. Ne manquez pas surtout d'informer le ministre du rôle que M. d'Antraigues a joué dans cette affaire, afin qu'il puisse juger de la confiance que mérite un pareil homme. Enfin, vous n'oublierez pas de répéter au marquis de Wellesley, que mes dispositions ne varieront jamais; que je considère les intérêts de son pays comme inséparables de ceux de la France, et conséquemment, des miens propres, et que je ne puis penser, sans d'amers regrets, qu'on n'ait jamais voulu m'entendre et particulièrement, en dernier lieu, au sujet de l'Espagne et des moyens puissants qu'offrait cette crise toute nouvelle pour attaquer enfin et terrasser la Révolution.»
Non content d'avoir fourni à son ami une occasion de se justifier en petit comité, le roi voulut revêtir cette justification de plus de solennité, en déférant l'affaire à son conseil de famille. Il le convoqua pour le 24 mars. À ce moment, la santé déjà si fragile de d'Avaray était menacée de nouveau et plus gravement qu'elle ne l'avait été. Il commençait à comprendre que son zèle serait désormais insuffisant pour la tâche à laquelle il le consacrait depuis si longtemps. Sans même attendre que les commissaires désignés par le roi, pour se prononcer sur les prétendus griefs de Puisaye, eussent rendu la sentence qui en démontrait la fausseté, il se décida à la retraite. De Londres où il s'était établi pour mieux tenir tête à Puisaye, il fit part de son désir à Louis XVIII. Celui-ci ne s'attendait que trop à cette demande, à laquelle l'avaient préparé des conversations antérieures. Sa réponse, datée d'Hartwell, le 24 mars, démontre cependant qu'il ne désespérait, pas de voir d'Avaray revenir auprès de lui.
«Je sors, mon ami, de mon conseil de famille, composé de mon frère, de mes neveux, de M. le prince de Condé et de M. le duc de Bourbon. Comme vous le savez, j'y avais appelé MM. l'archevêque de Reims, le duc d'Havré, le comte d'Escars, de Barentin, le comte de La Chapelle, le comte de Blacas et d'Outremont. Ce dernier a lu le rapport de l'examen, fait par mes ordres, des papiers produits par M. de Puisaye, et, avec la sagacité qui lui appartient, il a démontré, jusqu'à la dernière évidence, l'imposture et l'absurdité des inculpations articulées contre vous et contre moi-même. Chacun des membres, à commencer par mon frère, a déclaré que ce rapport ne faisait que le confirmer dans l'opinion qu'il a de vous et dans l'estime qu'il vous porte. J'ai ensuite ajouté qu'ayant, dès le principe, prononcé la mienne, je n'avais aucun besoin de ce témoignage pour asseoir mon jugement; mais, que l'amitié qui existe entre nous, faisant qu'en moi le roi devait se défier de l'homme, j'avais cru nécessaire de m'entourer des lumières de ceux qui, à juste titre, méritent le mieux ma confiance; que pleinement satisfait de ce que je venais d'entendre, et voulant que vous en fussiez informé d'une manière aussi honorable que les circonstances peuvent le permettre, je chargeais M. de Barentin, ancien garde des sceaux, et d'Outremont (qui vous portent cette lettre), d'aller vous exprimer le sentiment unanime et le mien propre.
«Dès que les trois commissaires auront rédigé le résumé qui doit fixer définitivement l'opinion publique sur cette criminelle affaire, et en attendant des temps plus heureux, où un jugement légal pourra donner un grand exemple, je ferai passer le dit résumé aux ministres de Sa Majesté britannique, afin d'obtenir leur assentiment à une publication qui nous est à tous deux également nécessaire. Ce résumé et le procès-verbal de vérification vous seront remis. Je n'ai pas besoin de vous dire qu'en terminant, j'ai ordonné, avec l'applaudissement général, au comte de La Chapelle, de rayer M. de Puisaye de mon état militaire. De plus, j'ai déclaré que mon intention était que mes fidèles sujets ne répondissent désormais que par le plus profond mépris, aux écrits que ce lâche imposteur pourrait publier.
«Maintenant, mon ami, je répondrai à la demande que vous m'avez faite de prendre du repos en vous préparant aux remèdes que les médecins vous ordonnent. Je ne ressens que trop vivement le déplorable état dans lequel votre santé est réduite après tant de souffrances; mais j'ai dû attendre encore, avant de vous satisfaire, que son résultat ne soit plus un secret pour personne; il ne faut pas donner pâture à la malignité.
«Depuis le 21 juin 1791, combien d'années de tourments, de travaux communs, de chagrins partagés nous ont rendus l'un à l'autre nécessaires! Soignez-vous, conservez-moi un ami si précieux; je n'ai pas besoin d'ajouter que je ne vous laisserai pas perdre de vue un instant que votre charge et ma juste confiance vous donnent un double devoir à remplir auprès de moi. Tout ce que je vous demande pour le moment, c'est d'attendre une quinzaine de jours, ayant indispensablement besoin de votre présence, pour bien mettre au courant les serviteurs que je me propose d'employer dans mon cabinet. Adieu, mon ami, je vous attends avec impatience.»