Il déploie une grande activité, il élève des casernes, répare l'hôpital qui tombe en ruines, bâtit une forge, fait élever des magasins, construit de petits navires, des corps de garde, des prisons, etc. Faute d'ingénieurs, il fait lui-même tous les plans, tous les devis, et il est tellement économe que pour tous ces travaux, il ne dépense pas plus de 40,000 livres!
Tout marcherait à souhait s'il n'avait à lutter contre la Compagnie dont la conduite est abominable. Grâce à elle, à sa lésinerie, à son inintelligence, à son peu d'activité, on est privé des choses de première nécessité, et la famine règne presque dans le pays. Ses employés sont mal payés, elle prend des mesures à contre-sens, enfin elle lui fait éprouver tant de contrariétés qu'il finit par en tomber malade.
Il écrit à son oncle le 7 octobre:
«Gorée, 7 octobre 1787.
«Je me voyais à peu près à la fin de ma carrière africaine, mon cher oncle, et mon esprit commençait à quitter ce pays pour celui que vous habitez, comme une âme du Purgatoire à qui il ne manque plus qu'un De Profundis ou deux pour aller en Paradis; j'en étais là et je m'endormais dans le calme que je croyais avoir établi quand cette maudite compagnie est venue me tirer de mon sommeil...»
Enfin il quitte la triste colonie, et il débarque à la Rochelle le 27 décembre 1787.
Sa première lettre est pour Mme de Boisgelin; comme son séjour au Sénégal a mis sa garde-robe dans le plus piteux état, il arrive dans un dénuement complet. Il fait appel à la bonne volonté de sa sœur, et il lui écrit:
«Ecoute, ma Boisgelin, j'arrive mardi au soir dans l'équipage d'un corsaire qui a fait naufrage et qui n'a sauvé que sa personne. Je sais que je n'ai à Paris ni chemise, ni poudre, ni pommade, ni carrosse, ni chevaux, ni argent, ni considération. Arrange-toi pour me faire trouver tout ce qui me sera nécessaire. Emprunte pour moi deux ou trois chemises avec des manchettes à dentelles. Je crois que j'ai des habits, ainsi je me passerai de tes robes. Tout le reste ira comme il pourra».
En apprenant enfin le retour de son ami, Mme de Sabran, ravie, écrivait:
«C'est de bon cœur que je dis adieu à ce malheureux Sénégal qui m'a fait verser tant de larmes...» Et elle ajoutait spirituellement cette réflexion si vraie: «Personne n'entend moins que toi à se faire valoir. Aussi la fortune est-elle la seule peut-être du sexe féminin qui t'ait maltraité quand tu as voulu lui faire la cour. J'espère qu'à présent elle va te sourire.»