Le duc de Fitz-James força tellement la mesure que lord Castlereagh lui dit:
«Si ce tableau était exact, il faudrait sur-le-champ rappeler nos troupes, former un cordon autour de la France et la laisser se dévorer intérieurement. Heureusement, monsieur le duc, nous avons des renseignements moins effrayants à opposer aux vôtres.»
L'expression de ces messieurs, en parlant de mon père, était que c'était dommage mais qu'il avait passé à l'ennemi. Quel bonheur pour la monarchie, si elle avait été exclusivement entourée de pareils ennemis! Monsieur de Richelieu, selon eux, avait eu de bonnes intentions mais il était perverti.
Quant aux autres ministres, c'étaient des gueux et des scélérats: messieurs Decazes, Lainé, Pasquier, Molé, Corvetto; il n'y avait rémission pour personne. À mesure que la libération de la patrie approchait, l'anxiété du parti redoublait. Je crois que c'est à cette époque que parut le Conservateur. Cette publication hebdomadaire avait pour rédacteur principal monsieur de Chateaubriand, mais tous les coryphées parmi les ultras y déposaient leur bilieuse éloquence. Cet organe a fait bien du mal au trône.
Jules de Polignac arriva le dernier en Angleterre; il était porteur de la fameuse note secrète, œuvre avouée et reconnue de Monsieur, quoique monsieur de Vitrolles l'eût rédigée.
Jamais action plus antipatriotique n'a été conseillée à un prince; jamais prince héritier d'une couronne n'en a fait une plus coupable. Les cabinets étrangers l'accueillirent avec mépris, et le roi Louis XVIII en conçut une telle fureur contre son frère que cela lui donna du courage pour lui ôter le commandement des gardes nationales du royaume.
Depuis longtemps les ministres sollicitaient du Roi de rendre au ministère de l'intérieur l'organisation des gardes nationales et de les remettre sous ses ordres; le Roi en reconnaissait la nécessité mais reculait effrayé des cris qu'allait pousser Monsieur.
Il avait été, dès 1814, nommé commandant général des gardes nationaux de France. Il avait formé un état-major à son image. Des inspecteurs généraux allaient chaque trimestre faire des tournées et s'occupaient des dispositions des officiers qui tous étaient nommés par Monsieur et à sa dévotion. La plupart étaient membres de la Congrégation. Leur correspondance avec Jules de Polignac, premier inspecteur général, était journalière et sa police s'exerçait avec activité et passion.
C'était un État dans l'État, un gouvernement dans le gouvernement, une armée dans l'armée. Ce qu'à juste titre on a nommé le gouvernement occulte était alors à son apogée. L'ordonnance qui ôtait le commandement à Monsieur enlevait au parti une grande portion de son pouvoir en le privant d'une force armée aussi énorme dont il pouvait disposer et qui ne recevait d'ordres que de lui.
Jules de Polignac en apprit la nouvelle (car cela avait été tenu fort secret) par ma mère qui lui donna le Moniteur à lire. Malgré sa retenue habituelle, il fut assez peu maître de lui pour prononcer quelques mots, trouvés si coupables par ma mère qu'elle lui dit vouloir aller aussitôt les rapporter à mon père pour qu'il en donnât avis au Roi. Averti de son imprudence, il chercha à les tourner en plaisanterie; mais ne pouvant réussir à faire prendre le change à ma mère, il eut recours à des supplications, qui allèrent jusqu'aux larmes et aux génuflexions, et obtint enfin la parole qu'elle ne répéterait pas un propos qu'il assurait n'avoir pas l'importance qu'elle voulait y donner.