Les mémoires de sa femme nous feront connaître la suite des événements de la vie de M. de La Tour du Pin jusqu'à l'époque des Cent-Jours.
Au moment du débarquement de Napoléon au golfe Juan, M. de La Tour du Pin se trouvait dans la capitale de l'Autriche, où il avait été envoyé, après la première Restauration, d'abord en qualité de ministre par intérim, ensuite comme l'un des plénipotentiaires de France au congrès de Vienne.
Après avoir signé la fameuse déclaration du 13 mars 1815 qui mettait Napoléon hors la loi, il se rendit, d'accord avec M. de Talleyrand, à Toulon, pour tenter de raffermir le maréchal Masséna, gouverneur de cette place, dans le service du roi, puis à Marseille pour conférer avec le duc de Rivière.
Sa mission consistait ensuite à rejoindre dans le Midi le duc d'Angoulême, qui avait reçu du roi l'ordre d'aller à Nîmes. Mais ayant appris à Marseille la nouvelle de la capitulation de ce prince au pont Saint-Esprit, après avoir pris, de concert avec le duc de Rivière quelques mesures indispensables, il fréta un bâtiment pour gagner Gênes, d'où il devait retourner à Vienne. Le mauvais temps, ou plutôt le mauvais vouloir du capitaine de ce bâtiment, le força à aller à Barcelone. De là, passant par Madrid, il se dirigea sur Lisbonne. Dans cette ville, il s'embarqua pour Londres, où il eut, pendant les vingt-quatre heures qu'il y séjourna, l'honneur de voir Mme la duchesse d'Angoulême pour la mettre au courant de la situation en France. La nuit même qui suivit cette entrevue, il partait pour Douvres, gagnait Ostende et se rendait à Gand auprès de Louis XVIII.
Après la bataille de Waterloo, M. de La Tour du Pin reprit en même temps que le roi la route de Paris.
Au mois d'août suivant, il participait aux élections générales en qualité de président du collège électoral du département de la Somme.
Le 17 du même mois, il était nommé pair de France par Louis XVIII qui, dans ses lettres patentes, l'appela «son allié», qualité que justifiaient d'ailleurs les alliances de sa famille.
Comme le rapportent les mémoires, M. de La Tour du Pin, tout en étant envoyé en Autriche, d'abord comme ministre par intérim, plus tard comme l'un des plénipotentiaires de France au congrès de Vienne, avait été nommé, peu de temps auparavant, ministre près de la Cour des Pays-Bas. En octobre 1815, il rejoignit ce dernier poste à Bruxelles pour remettre ses lettres de créance au roi Guillaume Ier et assister à son couronnement.
Etant revenu à Paris, bientôt après, pour siéger à la Chambre des pairs, M. de La Tour du Pin prit part, dans les premiers jours de décembre, aux débats du procès du maréchal Ney.
Il avait été décidé qu'on pourrait motiver son vote sur l'application de la peine, M. de La Tour du Pin, profitant de cette faculté, vota la peine de mort, mais fit en même temps la déclaration suivante: