L'éloignement de son ami Panpan pèse beaucoup à Mme de Lenoncourt:
«S'il n'y avait pas un qu'en dira-t-on au monde, j'irais m'établir chez vous», lui écrit-elle, et elle ajoute tristement: «Il y a huit ans que je désire d'être une bonne bourgeoise, d'aller acheter mes herbes au marché, de courir les rues à pied sans que personne y puisse trouver à redire. Il est ennuyeux d'avoir les assujettissements de son état et de n'en avoir pas l'aisance.»
Elle voudrait au moins habiter la même ville que lui: «Il me semble qu'un jour je vous serai bonne à quelque chose, lui dit-elle gracieusement. Je ne crois pas que je sois assez heureuse pour vous rendre des services, mais de petites attentions qui font tant de plaisir dans la vieillesse et qui ne pourront être aperçues que par moi, parce que certainement je suis celle qui t'aime le mieux. Il y a à parier que je mourrai avant toi, si je continue à me corrompre le sang, mais tu radoteras avant moi, et je te promets que tu ne seras ni battu ni contrarié.»
Cette idée d'un pseudo-mariage hantait Mme de Lenoncourt, et elle y revient sans cesse dans ses lettres. Mais Panpan veut rester fidèle à l'infidèle Mme de Boufflers, et il entend ne rien faire qui puisse lui déplaire. Or, une union morganatique avec Mme de Lenoncourt blesserait la marquise. Il se dérobe donc sans dissimuler les motifs; sa correspondante lui répond gaiement:
«Oui, mon Veau, je vous conviens mieux que Mme de Boufflers; elle est plus aimable que moi, mais je le suis assez pour vous. C'est une joueuse, elle vous ruinera; vos enfants n'auront pas de chausses. Vous n'êtes plus en âge de faire un mariage d'inclination; c'est un mariage de raison qu'il vous faut et je suis encore un coup votre vrai ballot. Pourquoi n'irais-je pas vous chercher à Lunéville? Quand nos feux seront légitimes, quel en serait l'inconvénient. Mais enfin, vous ne voulez pas de moi, il n'en faut plus parler. J'en suis aussi humiliée qu'affligée.»
En juin 1769 Panpan cède aux instances de ses amies, et il se décide à venir faire un voyage à Paris.
C'est dans un dîner chez Mme de Boufflers avec Helvétius et Saint-Lambert que Mme de Lenoncourt apprend cette bonne nouvelle: tout le monde s'en réjouit.
Quand le Veau arrive, ses amis lui font fête à l'envi; Mme de Boufflers, Mme de Lenoncourt, l'abbé Porquet deviennent ses gardes du corps et ne le quittent guère. Il est entraîné dans un tourbillon de plaisirs, de spectacles, de soupers, il ne sait auquel entendre, il n'a plus le temps de respirer; enfin on le surmène de telle façon qu'il finit par demander grâce! et supplier qu'on le laisse retourner dans sa chère Lorraine, où, là au moins, il mène la vie calme et paisible qui convient à son âge et à ses goûts.
Au mois de juillet il se retrouve à Lunéville, mais on dirait que tous les malheurs ont fondu sur lui pendant son absence. Il comptait louer son jardin, le locataire s'est éclipsé; ses roses sont fanées, ses fraisiers n'ont pas réussi. Peut-on imaginer plus cruels désastres? Mme de Lenoncourt, à laquelle il conte ses infortunes en termes pathétiques, le raille fort spirituellement:
«Toutes vos situations sont terribles, mon cher ami; vous quittez la vie cruelle et pénible de Paris, vous retrouvez à Lunéville les plus cuisantes peines, ni roses, ni fraises! cela est bien triste. Ajoutez à cela l'incertitude si on louera son jardin. Ces raisons sont, je crois, assez bonnes pour faire de vos lettres des espèces d'élégies. Il n'y manque que la rime, mon cher ami; avec la facilité que vous avez à faire des vers, je vous conseille de ne plus écrire en prose, car vous feriez des choses charmantes, dans le triste il est vrai.