Ces petites danseuses, dont il parle si plaisamment, ne laissaient pas de produire sur lui une certaine impression. On raconte, non sans de grandes apparences de vérité, que pour occuper ses loisirs il rendait des soins, si l'on peut s'exprimer ainsi, aux femmes du pays, qu'à la couleur près, il trouvait fort agréables dans leur simplicité. On prétend même, mais ce n'est qu'une tradition, que peu d'années après son séjour dans la colonie, on voyait grouiller sur la côte sénégalienne nombre de jeunes métis et qu'on les appelait de confiance «les petits Bouffés»! Cette surproduction et ce mélange des races nous paraît même avoir été le seul résultat tangible de l'ambassade du chevalier.
Un mois plus tard, le pauvre chevalier avait bien changé d'avis; son gouvernement, qu'il trouvait au début si agréable, l'ennuyait à périr, et ses lettres reflètent lamentablement son état d'âme. Il écrit à sa sœur:
«22 avril 1786.
«Comme j'espère trouver bientôt de tes lettres, je t'écris en attendant que je te lise, ma bonne enfant, pour m'arracher au moins pendant quatre-vingt-dix-neuf minutes à l'ennui qui me dévore, même que je suis partie de Gorée le 7 de mars pour une tournée qui devait être au plus de trois semaines et qu'en voilà six d'écoulées et que nous courons encore les mers: tantôt poussés par les vents contraires, tantôt retenus par les calmes, tantôt incommodés par les courants et les bancs de sable... Mais quoi qu'il arrive, je tâche d'être beau joueur, et je fais comme M. de Chalabre qui, dans ses grands désastres, déchire sa chemise et même sa peau avec ses ongles, sans qu'il paraisse la moindre altération sur son visage.
«Ce climat est contraire à tout, car le physique et le moral s'y altèrent également; en effet, que peut-on faire sans société, sans amusements, entourés d'esclaves et de coquins, avec l'idée que tout ce que vous aurez fait de bien sera inutile, ignoré ou mal interprété; au lieu que cinq ou six coquineries vous assurent un heureux avenir...
«Ici on regarde comme volé tout ce qui n'est pas employé à acheter des captifs, et l'on consacre tous ses soins à les bien enchaîner, à les bien embarquer et à les bien vendre.»
Bientôt le pauvre chevalier subit l'influence du climat et de l'ennui qui le dévore, il tombe malade, il est pris par la fièvre, il souffre cruellement. C'est à sa sœur qu'il confie ses peines, ses chagrins et il termine ainsi le récit de ses pénibles aventures:
«Adieu, ma fille, je serais honteux de cette lettre-ci, si elle était à une autre adresse, mais tu y verras un frère malade, souffrant, chagrin, et pourtant consolé par l'idée d'être bien aimé par une sœur bien-aimée et par l'espérance de la voir avant la fin de cette triste année.»
Soit que les soucis de son gouvernement occupent tous ses loisirs, soit qu'il lui tienne rigueur des infidélités dont il se rend coupable, Boufflers observe vis-à-vis de Mme de Sabran la conduite la moins aimable. Alors qu'il écrit fréquemment à son oncle de Beauvau et à sa sœur, il garde vis-à-vis d'elle un silence complet, aussi blessant qu'incompréhensible. C'est en vain que la pauvre femme lui écrit, par tous les courriers, les lettres les plus tendres, le chevalier ne répond jamais; elle reste plus de six mois sans la moindre nouvelle directe. Mme de Sabran, en femme profondément éprise, ne se décourage pas, et elle ne ménage pas les tendresses à l'ingrat qui l'oublie; elle ne l'en appelle pas moins «mon époux, mon amant, mon ami, mon univers, mon âme, mon Dieu»!
Elle ne lui cache pas cependant combien son indifférence l'affecte douloureusement. Elle lui écrit ces lignes délicieuses: