Qu'il y eût beaucoup d'exagération dans ces griefs, que Puisaye eût été plus malheureux que coupable, c'était possible. Mais tant de voix vengeresses clamaient contre lui, qu'il n'était plus au pouvoir du roi de lui conserver sa confiance. Dans la pensée de Louis XVIII, dans celle même du comte d'Artois qui, tout en se plaignant de lui, ne pouvait se défendre de beaucoup d'indulgence, Puisaye devait disparaître et se faire oublier.
Il eût été, toutefois, imprudent et dangereux de le lui signifier en des termes autoritaires. C'était, malgré tout, un homme à ménager. Le cabinet britannique ne le jugeait pas aussi sévèrement que le jugeait le roi. Sa défaite n'avait détruit ni la considération que les ministres professaient pour sa personne et son caractère, ni leur confiance en ses talents, et pas davantage l'affection dont il était depuis si longtemps l'objet de la part des populations bretonnes, sur lesquelles, au cours des insurrections vendéennes, s'était exercée son autorité. Lui-même n'entendait pas renoncer à son commandement. Rentré à Londres au lendemain de Quiberon, il y avait retrouvé la faveur des ministres, l'amitié de l'un d'eux, Windham, chargé du département de la Guerre. Fort de cette influence que n'avait pu détruire son malheur, il activait ses démarches à l'effet de se faire transporter en Bretagne pour y reprendre le rôle prépondérant qu'il y avait naguère rempli de l'aveu et au nom du roi.
Or, ce rôle, le roi ne voulait pas le lui rendre. Dès les premiers mois de 1796, il invitait son frère à négocier avec habileté et prudence en vue d'obtenir que Puisaye donnât sa démission. De longs mois s'écoulèrent avant que Monsieur pût procéder à des démarches efficaces et se flatter de les voir aboutir. Enfin, au commencement de 1797, une circonstance imprévue lui permit de se conformer aux instructions de son frère. Puisaye, comme s'il les avait pressenties et voulait les prévenir, avait envoyé à Blanckenberg des émissaires de confiance, lesquels, sous prétexte de soumettre au roi ses projets et ses plans, devaient plaider sa cause et obtenir que ses fonctions lui fussent conservées. Mais, malgré les efforts de ces ambassadeurs et cédant aux conseils du baron de Roll, agent de Monsieur, qui se trouvait alors à Blanckenberg, le roi ne voulut pas se prononcer. Il renvoya l'affaire au comte d'Artois «chargé spécialement de la direction des provinces de l'Ouest», et adressa à ce prince une note particulière en laquelle il développait ses vues et ses désirs en ce qui concernait Puisaye.
Celui-ci, aussitôt qu'il connut cette décision, alla de Londres à Édimbourg afin de conférer avec Monsieur. Là, contrairement à ses espérances, il fut amené à donner sa démission. Il la donna cependant de manière à laisser croire qu'elle était volontaire. Mais, craignant qu'on ne la regardât comme forcée, il demanda qu'elle fût tenue secrète jusqu'à la nomination de son successeur, qui semblait devoir être le prince de Rohan. Pour justifier cette demande, à laquelle Monsieur s'empressa de faire droit, il observa que si l'on voulait tirer quelque parti de ses relations avec le ministère britannique, il était essentiel qu'il conservât vis-à-vis de ce ministère assez de consistance pour n'être pas considéré comme amoindri. Donnée et acceptée avec ces amendements, la démission fut aussitôt transmise au roi. En la lui adressant, Monsieur insistait sur la nécessité de ne pas la rendre publique.
Le roi fut plus surpris que satisfait des réserves dont elle était accompagnée. Le comte d'Avaray, qui méprisait Puisaye et le «tenait pour un drôle», avait fait partager à son maître cette opinion. Louis XVIII était pressé de se débarrasser du personnage et de le remplacer. Il donnerait ainsi satisfaction à la grande majorité du parti royaliste, qui s'étonnait que cette mesure n'eût pas été déjà prise et que le roi gardât à son service un homme qui l'avait si mal servi. Animé de cette conviction, loin de déférer aux conseils de son frère, il désigna sur l'heure le remplaçant de Puisaye, et, au lieu de choisir le prince de Rohan proposé par le comte d'Artois, il choisit le comte de Chalus. Ce gentilhomme avait commandé sous les ordres de celui dont l'emploi lui était octroyé; il s'était vaillamment conduit à Quiberon; il jouissait d'un grand renom en Bretagne et méritait la confiance et l'estime. Les princes et les royalistes lui en avaient donné précédemment maints témoignages.
Le roi lui écrivit pour lui faire connaître celui que, de nouveau, il lui accordait. En lui ordonnant de se considérer désormais comme commandant en chef de Bretagne dans la partie où le comte de Puisaye avait rempli la même fonction, il l'invitait, ainsi qu'il l'avait déjà fait sur tous les points du royaume, à faire entrer les royalistes dans les gardes nationales qui se formaient alors. Il lui transmettait en même temps ses instructions et ses ordres en vue du rôle qu'il l'appelait à remplir.
Au moment d'expédier cette lettre, il se demanda s'il devait l'envoyer à Monsieur en le chargeant de la faire parvenir ou s'il l'enverrait par la voie de ses agents de Paris qui étaient en communications constantes avec la Bretagne et la Vendée. Finalement, c'est à ce dernier parti qu'il s'arrêta, en laissant ses agents juges de l'opportunité de sa décision. Mais, comprenant la nécessité d'avertir son frère de ce qu'il avait fait, il le lui manda le 7 septembre.
Au sujet de la lettre destinée à Chalus, il lui disait:
«Je me suis décidé à l'envoyer directement, par la raison que, l'ayant envoyée sous la même restriction (si mes agents voyaient la chose du même œil que moi), je ne sais pas s'il la recevra, et que si je l'avais fait passer par vous, comme j'aurais fait en toute autre circonstance, il y aurait eu un temps considérable de perdu; et vous voyez que, de cette manière, il la recevra avant que je sache moi-même si elle lui sera envoyée. J'en joins ici une copie aussi bien que de l'ordre général.»
Lorsque la lettre écrite au comte de Chalus arriva à Paris, le coup de force du 18 fructidor venait de s'accomplir et les agents royalistes de se disperser. Elle fut cependant remise à l'un d'eux, le prince de La Trémoïlle. Empêché de l'envoyer en Bretagne et étant parvenu à s'enfuir, il l'emporta avec lui en Angleterre. De Londres, il écrivit au comte d'Artois à Édimbourg pour lui demander ce qu'il devait faire de cette lettre dont il lui communiquait une copie. Le comte d'Artois n'avait pas encore reçu celle que son frère lui avait adressée le 7 septembre. Il apprit donc tout à la fois par La Trémoïlle que le roi, ne tenant aucun compte de son avis, venait de rendre publique la démission de Puisaye, de nommer son successeur et qu'au lieu de charger son lieutenant général de porter sa décision à la connaissance des intéressés, il avait préféré s'en fier aux agents de Paris du soin de communiquer sa lettre au destinataire quand ils le jugeraient opportun.