En même temps, les princes ont à compter avec une multitude d'agents secrets, gentilshommes ou plébéiens, qu'ils emploient, les uns hors de France, les autres en France, et dont le nombre, avec les années, va se multiplier. En Savoie, le comte de Narbonne-Fritzlar, le bailli de Villefranche, le comte de Bussy forment des compagnies destinées à grossir l'armée des princes et celle de Condé. Ils reçoivent les officiers et soldats émigrés, leur offrent de les garder dans le corps qu'ils commandent ou de les envoyer à Coblentz ou à Worms. Le comte Thomas de Conway, d'origine irlandaise, maréchal de camp au service de la France et ancien gouverneur de nos possessions des Indes, réside aussi à Chambéry. Il est chargé des affaires du Midi et plus spécialement, de l'insurrection du Vivarais. Elle se prépare, et la première réunion du camp de Jalès en a été le prologue, Conway est secondé par le comte de Saillans, l'abbé de Siran, l'abbé de La Bastide de La Molette, les frères Allier, les frères Froment, d'autres encore qui vont et viennent au péril de leur vie entre les pays étrangers et les contrées dans lesquelles ils opèrent au nom des princes. L'un des Froment est en outre employé en Espagne, un autre à Rome. Imbert-Colomés, maire de Lyon, est aussi un agent royal. Le comte d'Antraigues, ancien député aux États généraux, s'est installé à Venise. Avec le concours de l'ambassadeur espagnol Las Casas, il seconde les soulèvements méridionaux; il cherche à leur assurer la faveur et l'appui du gouvernement de Madrid.
Dans ce groupe innombrable de partisans qui, par dévouement à la cause royale, par ambition ou goût des aventures, se prodiguent pour les princes, figurent encore le marquis de Bésignan, le baron de Saint-Christol, le marquis de Surville, le chevalier de Lamothe. Plus tard, il se grossira de chefs vendéens et d'une multitude d'hommes moins héroïques et moins désintéressés, les uns, négociateurs louches et agitateurs véreux, tels que Fauche-Borel, Montgaillard, Fontbrune, La Maisonfort; les autres, chefs de bande dont l'histoire, qui peut à peine les nommer, ne saurait, faute de documents, reconstituer les actes.
À citer encore les agents de Paris: Despomelles, Le Maître, l'abbé Brotier, Sourdat, La Villeheurnoy, Duverne de Praile. Ceux-là sont entrés en fonctions dès le commencement de 1791. L'ambassadeur d'Espagne à Paris, prévoyant le moment où les événements l'obligeront à quitter la France, les a groupés avec l'aide de d'Antraigues et chargés en son lieu et place, quand il sera parti, d'informer la cour de Madrid de ce qui se passe à Paris. Ils sont en possession de la confiance de Louis XVI. Leurs correspondances sont envoyées à Venise, où le facteur de l'ambassade espagnole va les retirer à la poste, les porte à d'Antraigues qui les met en état d'être envoyées à Madrid et communiquées en même temps aux princes, frères du roi.
L'agence de Paris prendra, avec le temps, une influence décisive sur les affaires de l'émigration. Elle l'exercera jusqu'au jour où le Directoire surprendra son existence et procédera à l'arrestation de ses membres. Cette influence contribuera à accroître les divisions des émigrés. Lorsque le comte de Provence se sera séparé du comte d'Artois, l'agence restera fidèle au premier qui, d'ailleurs, est devenu le roi, et s'attachera à contrecarrer les projets du second. Si, lorsqu'en 1795 l'expédition de Quiberon s'organise, Charette refuse de seconder la tentative de Puisaye, c'est que les agents de Paris se sont entremis pour empêcher un succès qui favoriserait le comte d'Artois au détriment de son frère. Jusqu'à la fin de l'émigration, d'autres agences se formeront à l'exemple de celle de Paris; à Paris même, celle-ci, après avoir disparu, sera peu ou prou remplacée; toutes offriront le plus singulier mélange de braves gens et de coquins, d'hommes intrépides et de lâches, de politiques habiles et de cerveaux extravagants.
Il s'en faut qu'en 1791, les princes aient mis encore en mouvement tout ce personnel. Pour qu'il se développe, se complète et s'étende, il faut le temps, les événements, les circonstances. Mais tel qu'il existe à cette époque, c'est Calonne qui le dirige. Inspirateur des princes, il conseille en leur nom, ordonne, morigène au besoin. Il s'est emparé de tous les pouvoirs, s'impose à Monsieur qui n'a qu'une demi-confiance en lui, mène par le bout du nez le comte d'Artois, qui ne voit que par ses yeux et n'entend que par ses oreilles. Grâce à la faiblesse des uns, à la crédulité des autres, Calonne est le grand maître de Coblentz, ministre de la guerre, ministre des affaires étrangères, ministre de la justice.
Tout lui obéit, l'Électeur lui-même et le baron de Duminique, auxquels il se substitue dans le gouvernement de la principauté. Peu à peu, ils ont abdiqué leur puissance entre ses mains. Prince ecclésiastique, l'Électeur déteste le gouvernement qui a ruiné le clergé et donné à l'Europe de funestes exemples. Les émigrés s'étant déclarés les défenseurs de la religion catholique, cela suffit pour le captiver, pour le rassurer contre les effets du mécontentement de ses sujets qu'épouvante la présence de ces étrangers, dont les intrigues les désignent aux colères de la France.
Calonne nomme à tous les emplois. Il tient une volumineuse correspondance avec le dehors et le dedans. Il reçoit les rapports que des royalistes ardents adressent de Paris ou du fond des provinces. Présomptueux à l'excès, il ne croit qu'à ce qui s'accorde avec ses désirs et ses espérances. Quiconque en arrivant à Coblentz veut être employé doit s'adresser à lui, se faire bien venir de lui. Sa protection tient lieu de tous les mérites à ceux sur qui elle tombe. Seule, elle est efficace, comme seul aussi est tout-puissant le parti de ses créatures. Parmi les émigrés, on en juge ainsi. On sait que les princes ne s'aiment pas, qu'ils se dénigrent dans leur société particulière; que Calonne est l'homme du comte d'Artois, Jaucourt, l'homme de Monsieur, que tous deux, par leurs propos, aggravent et accentuent les dissentiments non avoués qui existent entre les frères du roi. Mais on sait aussi que Jaucourt est sans crédit, que seul Calonne a le pouvoir. Devant lui, le vieux maréchal de Broglie, lui-même, courbe la tête, ce qui fait qu'on le raille dans les salons de Coblentz.
À côté de Calonne, les hommes influents sont les deux Vaudreuil, le comte, membre du conseil, et son cousin le marquis, qui tombe un jour à Coblentz venant de Paris et déclare partout que Louis XVI, malgré les apparences contraires, approuve la conduite de ses frères. C'est aussi le duc de Gramont, chargé, avec le maréchal de Broglie, de l'organisation de l'armée. L'évêque d'Arras, duquel le duc de Lévis dira plus tard «qu'il n'a fait que du mal à son parti», jouit également d'une grande influence. Le baron de Flachslanden, à qui est confiée une partie de la correspondance diplomatique, n'est qu'un premier commis. Il obéit à Calonne, dont la confiance seule lui donne un peu de prestige, après lui avoir fait perdre celle des Tuileries.
Dans les circonstances critiques, quand les délibérations du conseil doivent porter sur quelque objet d'importance, on appelle Condé. Condé est à Worms, logé au palais de l'Électeur, avec son fils et son petit-fils. Sa fille, la princesse Louise de Bourbon, sa maîtresse, la princesse de Monaco, sont logées aux entours de la ville, à portée de son camp. Il vient fréquemment à Coblentz pour quémander des secours ou apporter des avis. Dans l'entourage de Monsieur et du comte d'Artois, on le tient pour peu confiant et même dissimulé. On raconte que, lorsqu'il écrit une lettre importante, il en trace lui-même, de sa main, le brouillon, et en distribue ensuite les morceaux à quatre ou cinq secrétaires qui les recopient séparément, sans savoir ce qui précède ou ce qui va suivre. Mais, en sa qualité de prince du sang, la conformité de ses vues avec celles des frères du roi fortifie l'autorité de ceux-ci. En résumé, on compte dans Coblentz trois partis: celui de Monsieur, celui du comte d'Artois, celui de Condé.
C'est le second qui, par Calonne, dirige tout, est maître de tout. Sur les conseils de Calonne, les princes font revivre le cérémonial de la cour de France, réorganisent la maison du Roi, rétablissent les grandes charges, les pages, les mousquetaires, les chevau-légers, les grenadiers à cheval, les gendarmes, les chevaliers de la Couronne, la compagnie de Saint-Louis, celle des gardes de la porte. Les uniformes sont éclatants. Les gentilshommes qui composent le guet des Gardes sont montés sur des chevaux à courte queue. Ils portent un costume vert, avec parements, revers et collet cramoisi, galonnés en argent. Le marquis du Hallay, le comte de Montboissier, le vicomte de Virieu, le marquis d'Autichamp, le comte de Bussy, le marquis de Vergennes sont à la tête de ces corps d'élite. Le comte d'Avaray et le comte de Damas commandent la maison militaire de Monsieur; le bailli de Crussol et le comte François d'Escars, celle du comte d'Artois. Au fur et à mesure que ces compagnies se constituent, elles sont mises avec solennité en possession du service qui leur est dévolu. Les princes, entourés de ce que Coblentz renferme de plus brillant, leur présentent les officiers qui doivent les commander. L'armée des princes, celle de Condé, sont formées dans les mêmes conditions.