Resté seul, le représentant du roi écrivit à Rostopchine, pour l'avertir de ce qui se passait. En attendant une réponse, qui d'ailleurs n'arriva pas, il procéda à la destruction de ses papiers. Au bout de deux heures, il sortit de la ville, et, après avoir couché dans un château appartenant à Panin, situé hors des portes, sur la route de Péterhof, il se mit en route pour Mitau. Lorsqu'il y arriva, le 7 janvier, à sept heures du soir, il n'avait pu découvrir pour quels motifs il était ainsi renvoyé, bien qu'il se le fût demandé tout le long du chemin. Était-ce pour avoir continué à entretenir des rapports avec Panin, malgré la disgrâce de celui-ci? Des propos, d'ailleurs très réservés, tenus par lui dans un dîner, avaient-ils été entendus par des gens affiliés à la police, et, pour s'en faire un grief contre lui, les avait-on dénaturés? Les rapports confidentiels qu'il envoyait au roi avaient-ils été détournés, et, dans ses libres réflexions, la police avait-elle trouvé des armes contre lui? Tout était possible; mais il ne pouvait rien préciser.
En entrant chez d'Avaray auquel il avait jugé bon de se présenter avant de demander à voir le roi, il le salua de ces mots:
—Me voici, je suis renvoyé.
«Frappé comme d'un coup de foudre à cette nouvelle imprévue, écrit d'Avaray, je lui demandai le détail des circonstances de son renvoi; je le sommai, sur son honneur, de m'en avouer franchement les causes, s'il y avait donné lieu.»
—Ma conscience ne me reproche rien, déclara Caraman; je le jure sur l'honneur.
Quelques instants après, admis en présence du roi, il lui faisait la même déclaration et n'eut aucune peine à le convaincre que sa conduite était irréprochable.
—Mais alors, objecta Louis XVIII, ne faudrait-il pas voir dans votre renvoi, une preuve de refroidissement de l'amitié du tsar pour ma personne ou d'un changement dans ses vues politiques?
Caraman ne le croyait pas. Le rendez-vous même que lui avait donné Rostopchine laissait supposer que ce ministre n'avait pas eu connaissance de ce qui se préparait, et l'empereur ne le lui eût pas caché, s'il s'était agi d'une simple modification dans la conduite de ses affaires. Sans chercher à en savoir plus long, le roi se décida à écrire à l'empereur.
Sa lettre était humble; elle se ressentait de ses appréhensions, de la crainte de froisser Paul Ier.
«Monsieur mon frère et cousin, profondément affligé de voir arriver le comte de Caraman auprès de moi, j'ai interrogé son honneur sur les causes de sa disgrâce. Il m'a répété les expressions de son dévouement pour la personne de Votre Majesté Impériale et m'a assuré ne connaître de son malheur que l'ordre qu'il a reçu de se rendre à Mitau. Dans la cruelle perplexité ou je me trouve et non moins frappé de la crainte d'un refroidissement dans l'amitié de Votre Majesté Impériale que de l'effet funeste, que le renvoi de mon ministre doit nécessairement produire pour mes intérêts, je la supplie, si la faute certainement bien involontaire du comte de Caraman n'est pas irrévocable, de me permettre d'en appeler à l'indulgence de Votre Majesté Impériale, ou s'il s'était irrévocablement perdu dans ses bonnes grâces, de vouloir bien m'autoriser à lui présenter de nouveau quelques sujets parmi lesquels elle daignerait choisir mon représentant auprès d'elle.»