Le résultat fut qu'on ne donna aucune suite aux idées de Mme Durival et que les œuvres littéraires de Panpan demeurèrent dans l'éternel oubli.
Quand l'Institut fut constitué, Boufflers fut appelé à en faire partie. En 1805 il prononça l'éloge de son oncle le maréchal de Beauvau et aussi celui de l'abbé Barthélemy. Il s'empressa d'envoyer ses discours à Mme Durival et il lui disait en même temps les attaques injustes et violentes auxquelles ses opinions l'exposaient. Il lui écrivait très noblement:
«Vous avez paru contente de l'éloge de M. Barthélemy?. J'aime bien mieux que vous en jugiez d'après vous que d'après quelques journalistes, qui pourraient ou trop l'exalter ou trop le dépriser, selon qu'ils auront le noble courage de soutenir les hommes accusés de philosophie, ou l'audace honteuse de les insulter; ce n'est pas que je sois d'aucun parti, car tout parti a un projet, et je n'en ai point d'autre que de vieillir tranquillement; mais, dût-il m'en coûter le repos de ma vie, je m'en tiens à penser selon ma raison et à parler selon ma pensée, également éloigné de vouloir maîtriser l'opinion d'autrui, ou asservir la mienne; du reste, je ne me mêle d'aucune querelle, quoiqu'on m'en fasse beaucoup, et je n'y réponds que par le mépris qui est dû à des ennemis qu'on ne connaît pas. Souvent même je jouis intérieurement de l'absurdité de presque toutes les injures que je reçois et je me persuade au moins que ceux de qui elles me viennent n'en pensent rien.»
Jamais le chevalier ne laisse parler son cœur comme avec Mme Durival. Elle était la grande amie de sa mère, elle est pour lui la dernière survivante d'une époque adorable à jamais disparue. Il aime à lui raconter sa vie, à lui parler de son intérieur, de sa femme, et il le fait en termes délicieux:
«Cet intérieur est plus heureux que s'il était plus brillant. En perdant mes avantages, mes biens et mes espérances, j'ai vu que je n'avais perdu que des apparences et que la réalité me restait. Tout notre véritable avoir consiste dans la pensée et le sentiment, et à cet égard chaque homme est au dedans de lui une vraie mine, plus ou moins riche...
«Toutes mes affections sont à peu près concentrées dans une personne que vous feriez l'héritière de votre passion pour ma mère, comme j'en ai fait l'héritière de son nom. Vous retrouveriez presque à chaque instant la même âme, les mêmes goûts, le même esprit, la même égalité dans le fonds, la même variété dans la forme, et ces caprices innocents, et ces traits inattendus, et cette grâce indéfinissable, et en même temps cette simplicité incorruptible que nous avons admirée dans votre ancienne amie jusque dans les dernières années...
«En disant, en vérité, que notre fortune nous suffit, c'est lui faire honneur et à nous encore davantage. Cependant Horace ne nous a pas trompés en nous disant tant de bien de la médiocrité; il n'y a que manière de s'y prendre avec elle pour en tirer parti; elle ressemble à un instrument borné, mais qui suffit à un virtuose, et qui a le mérite de garder mieux l'accord parce qu'il a moins de cordes. Une grande fortune a trop de tenants et d'aboutissants, elle exige encore plus de vous qu'elle ne vous donne... enfin un grand vaisseau est toujours plus difficile à gouverner qu'une chaloupe.
«Vous parlerai-je à présent de ma demeure? J'en ai deux, l'une à la campagne, mais c'est à peu près comme celles du rat de ville et du rat des champs, c'est-à-dire deux trous. Dans notre appartement de ville nous remplaçons un commissaire de quartier que l'humidité en avait chassé. Quant à notre maison de campagne, elle conviendrait mieux à un vicaire qu'à un curé, mais elle a du moins, à nos yeux, le mérite de nous appartenir.
«Tout notre domaine consiste dans un assez grand jardin fruitier et potager qui promet beaucoup au printemps, et qui, selon la triste coutume de la nature, tient peu en automne. Mais ce jardin, tantôt béni, tantôt maudit, nourrit ses maîtres et même il les abreuve, car j'y ai une petite vigne avec un petit pressoir, et nous avons le bon esprit, et peut-être la bonne bêtise, de trouver notre vin le meilleur des environs de Paris à plus de vingt lieues à la ronde; et nous trouvons du moins qu'il n'y a point de plus douce ivresse que de s'enivrer à son tonneau.»
Il achève de peindre sa situation morale par cette phrase exquise et d'une si charmante philosophie: