De nouveaux soucis devaient bientôt l'atteindre. Aymar[4], le dernier survivant de ses enfants, entraîné par un généreux enthousiasme pour la causé de la légitimité, s'était affilié au mouvement qui, en 1831, se préparait en Vendée. Il fut arrêté, emprisonné, et son père, ne voulant pas se séparer de lui, partagea les quatre mois de sa détention, tant à Bourbon-Vendée qu'à Fontenay.
Mis en liberté en avril 1832, Aymar de La Tour du Pin reprenait bientôt le chemin de la Vendée pour rejoindre Mme la duchesse de Berry.
On connaît le mauvais succès de cette tentative.
Après l'arrestation de Madame, Aymar de La Tour du Pin fut de nouveau poursuivi et recherché.
Plusieurs journaux ayant, à cette époque, attaqué son fils en termes qui lui parurent outrageants, M. de La Tour du Pin prit vigoureusement sa défense dans une lettre à l'Indicateur, un des journaux en cause, lettre que cette feuille ne voulut pas insérer, mais qui fut reproduite dans le numéro de la Guyenne du 7 août 1832.
Cette lettre valut à son auteur un jugement de mise en accusation devant la cour d'assises de Bordeaux, suivie d'une condamnation, le 15 décembre 1832, à 1.000 francs d'amende et trois mois de prison. Ces trois mois de prison, M. de La Tour du Pin les fit au fort du Hâ, du 20 décembre 1832 au 20 mars 1833, en compagnie de sa femme, qui refusa de le quitter.
Quant à Aymar de La Tour du Pin, vers la même époque et comme conséquence de sa participation à la tentative de Mme la duchesse de Berry en Vendée, il était condamné par contumace à la peine de mort. Il avait heureusement pu se réfugier à Jersey dès le mois de novembre 1832.
En présence de la condamnation de son fils, qui pour y échapper dut s'exiler, et des persécutions dont il était lui-même l'objet, M. de La Tour du Pin prit le parti de se retirer à l'étranger.
À sa sortie de prison, il alla s'installer à Nice, où sa femme et son fils vinrent le rejoindre. Des raisons politiques lui ayant fait quitter cette ville, il se dirigea sur Turin et de là sur Pignerol. Son séjour dans cette dernière ville se prolongea jusqu'au 28 août 1832.
Des questions d'intérêt urgentes à régler rappelèrent alors M. et Mme de
La Tour du Pin en France.