Le caractère violent et altier de Lally lui avait fait autant d'ennemis qu'il y avait d'officiers et d'habitans à Pondichéry. On lui rendait outrage pour outrage; on affichait à sa porte des placards plus insultans encore que ses lettres et ses discours. Il en avait de si terribles accès de fureur, que l'on aurait pu croire que sa cervelle était dérangée. Un fils du nabab Chandasaeb était alors réfugié dans Pondichéry auprès de sa mère. Ce jeune Indien ayant vu souvent le général français, absolument nu sur son lit, chantant la messe et les psaumes, demanda sérieusement à un officier si c'était l'usage en France que le roi choisît un fou pour son grand-visir. L'officier, étonné, lui dit: «Pourquoi me faites-vous une question si étrange?—C'est, répliqua l'Indien, parce que votre grand-visir nous a envoyé un fou pour rétablir les affaires de l'Inde.»
Cependant Pondichéry, bloqué par les Anglais, fut obligé de se rendre à discrétion. Bientôt les fortifications, les murailles, les magasins, tous les principaux logemens furent rasés. Les habitans voulurent tuer le général. Le commandant anglais fut obligé de lui donner une garde. On le transporta malade sur un palanquin. Il avait deux pistolets dans ses mains, et il en menaçait ceux qui voulaient l'immoler.
Pendant qu'on le conduisait à Madras, des employés de la Compagnie obtinrent, à Pondichéry, la permission d'ouvrir ses coffres, comptant y trouver des trésors en or, en diamans, en lettres de change; ils n'y trouvèrent qu'un peu de vaisselle, des hardes, des papiers inutiles, et ils n'en furent que plus acharnés; ces mêmes effets furent saisis par la douane anglaise, jusqu'à ce que Lally eût satisfait aux dettes qu'il avait contractées en son nom pour la défense de la place.
Accablé de chagrins et de maladies, Lally, prisonnier dans Madras, demanda vainement qu'on différât son transport en Angleterre: il ne put obtenir cette grâce. On le mena de force à bord d'un vaisseau marchand, dont le capitaine le traita inhumainement pendant la traversée. On ne lui donnait pour tout soulagement que du bouillon de porc.
Le général Lally fut transporté en Angleterre avec plus de deux mille prisonniers. Dans ce long et pénible voyage, ils s'accusaient encore les uns et les autres de leurs communs malheurs. Arrivés à Londres, ce fut un déluge de pamphlets, tant de la part de Lally et de ceux qui lui étaient restés attachés, que de celle de ses nombreux ennemis. Il était tellement convaincu de son innocence, qu'il vint à Fontainebleau, tout prisonnier qu'il était encore des Anglais, et qu'il offrit de se rendre à la Bastille (novembre 1762). On le prit au mot. Dès qu'il fut enfermé, la foule de ses ennemis s'accrut de tous ceux qui jusque là n'avaient pas osé l'attaquer. Il fut quinze mois en prison, sans qu'on l'interrogeât.
Lally fut d'abord traduit au Châtelet, et bientôt après devant le parlement. L'instruction du procès dura deux années. On ne pouvait pas l'accuser raisonnablement de trahison, puisque, s'il eût été d'intelligence avec les Anglais, s'il leur eût vendu Pondichéry, il serait resté parmi eux, et ne serait pas venu lui-même se constituer prisonnier. Les Anglais, d'ailleurs, n'auraient pas acheté une place qu'ils étaient assurés de prendre.
On ne pouvait pas davantage l'accuser de péculat, puisqu'il n'avait jamais été chargé ni de l'argent du roi, ni de celui de la Compagnie. Il n'y avait donc que des duretés, des abus de pouvoir, des oppressions, sur lesquels on pût raisonnablement le juger.
Le jésuite Lavaur, qui avait été forcé, comme tant d'autres, de quitter Pondichéry, était alors à Paris; il sollicitait du gouvernement une modique pension de quatre cents francs. Il mourut, et on lui trouva douze cent cinquante mille livres dans sa cassette, en or, en diamans, en lettres de change. Cette aventure, par le scandale qu'elle fit en France, prépara la perte de Lally. On trouva dans la cassette du jésuite deux mémoires, l'un en faveur du comte, l'autre qui le chargeait de tous les crimes. Il devait faire usage de l'un ou l'autre de ces écrits, suivant que les choses tourneraient. Le mémoire hostile fut remis au procureur-général.
L'accusé étant prévenu de haute trahison, et de lèse-majesté, selon la teneur de la plainte du ministère public, on lui refusa un conseil. En conséquence, il n'eut d'autre défenseur que lui-même. Toujours fermement convaincu de son innocence, il eut l'imprudence d'insulter, dans les mémoires qu'il écrivit pour sa justification, des officiers qui jouissaient de l'estime universelle, et qui lui répondirent avec véhémence. Ses emportemens inconsidérés achevèrent de tourner tous les esprits contre lui. A la clameur publique se joignaient les plaintes des directeurs de la Compagnie des Indes, des actionnaires de Paris, des employés, des commis, de leurs parens, de leurs amis, qui accusaient tous Lally d'être l'auteur de leur ruine. On lui faisait des crimes de toutes ses opérations militaires. Toutes ces accusations, faites souvent par des gens tout-à-fait étrangers à la stratégie, figurèrent dans l'interrogatoire que l'on fit subir au général.
On accumula aussi les chefs d'accusation sur sa conduite privée. On lui reprochait de s'être mis en colère contre un conseiller de Pondichéry, et d'avoir dit à ce conseiller, qui se vantait de donner son sang pour la Compagnie: Avez-vous assez de sang pour fournir du boudin aux troupes du roi qui manquent de pain? On l'accusait d'avoir dit des sottises à un autre conseiller; d'avoir condamné un perruquier, qui avait brûlé de son fer chaud l'épaule d'une négresse, à recevoir un coup du même fer sur son épaule; de s'être enivré quelquefois; d'avoir fait chanter un capucin dans la rue; d'avoir dit que Pondichéry ressemblait à un lieu de prostitution, où les uns caressaient les filles, et où les autres les voulaient jeter par les fenêtres; d'avoir rendu quelques visites à madame Pigot, qui s'était échappée de chez son mari; d'avoir fait donner du riz à ses chevaux, dans le temps qu'il n'avait pas de chevaux; d'avoir donné une fois aux soldats du punch fait avec du coco; de s'être fait traiter d'un abcès au foie, sans que cet abcès eût crevé.