Il devint bientôt le point de mire de tout ce qui voulait faire fortune et participer aux honneurs attachés à la place qu'il venait de quitter. On chercha à le rendre odieux à l'empereur; on imagina mille contes, productions de gens qui ne peuvent soutenir la concurrence de ceux dont ils sont forcés de reconnaître la supériorité; guidés par leurs intérêts particuliers, et poussés par les passions de ceux dont ils se sont entourés, ils aiment mieux perdre un État entier en étouffant la lumière autour du monarque, que de voir pâlir leur étoile en laissant accès aux hommes qui véritablement peuvent le servir. L'empereur résista long-temps; il continua à voir avec bonté M. de Talleyrand; mais comme tout cède à l'importunité qui ne se rebute point, Talleyrand tomba bientôt dans une sorte de disgrâce. Il n'abandonna pas néanmoins l'entreprise qu'il avait suggérée à l'empereur; au contraire, il la suivit avec constance, et profitant, avec son adresse ordinaire, d'une inspiration de colère qui était échappée à Charles IV, il alla jusqu'à vouloir intervertir l'ordre de succession au trône d'Espagne. Chargé, conjointement avec le grand-maréchal, de suivre les négociations que le prince de la Paix avait ouvertes au sujet du Portugal, il ne se borna pas à demander que Charles IV livrât le commerce de ses colonies aux Français, il voulait encore qu'il nous abandonnât celles de ses provinces qui touchent nos frontières, et qu'il reçût en échange les dépouilles du souverain qui s'était enfui à la vue de nos drapeaux. Voici, au reste, une pièce qui fixe l'état où il avait placé la question; c'est le compte-rendu de la dernière conférence qui eut lieu à ce sujet entre lui et Izquierdo.
Paris, 24 mars 1808.
Au prince de la Paix.
«L'état des affaires ne permet pas d'écrire tous les détails des entretiens qu'après mon retour de Madrid j'ai eus ici par ordre de l'empereur, avec le général Duroc, grand-maréchal du palais impérial, et avec le vice-grand-électeur de l'empire, le prince de Bénévent.
«Je réduis mon discours à l'explication des moyens qui sont proposés pour régler et même pour terminer à l'amiable les affaires qui pendent entre l'Espagne et la France, car on m'a chargé de les faire connaître à mon gouvernement, en recommandant la réponse le plus tôt possible.
«Il est notoire que plusieurs corps de troupes françaises se trouvent à présent en Espagne: on ignore quel en sera le résultat. Quelques arrangemens entre les gouvernemens des deux nations pourront empêcher de mauvais effets et même produire un traité définitif et solennel sur les bases qui suivent.
«1re base. Les Français pourront faire leur commerce dans les colonies espagnoles aussi librement que s'ils étaient Espagnols, et les Espagnols, dans les colonies françaises, comme s'ils étaient Français: les uns et les autres paieront les droits de douanes, comme s'ils étaient natifs du territoire. Cette prérogative leur appartiendra exclusivement, de manière que la France ne l'accordera qu'aux Espagnols, et l'Espagne, non plus, qu'aux Français.
«2me base. Le Portugal se trouve aujourd'hui sous le pouvoir de la France: la nation française a besoin d'une route militaire pour le passage continuel des troupes qui doivent y aller, avec l'objet de conserver les garnisons et de défendre le pays contre les incursions des Anglais. Il est vraisemblable que cette affaire produira beaucoup de dépenses, de chagrins, d'obstacles, et même de fréquentes occasions de désordres; tout serait parfaitement arrangé, si l'Espagne possédait entièrement tout le Portugal: elle indemniserait la France, en lui cédant l'équivalent sur le territoire des provinces contiguës à l'empire français.
«3me base. Régler définitivement la succession au trône d'Espagne[28].
«4me base. Faire un traité offensif et défensif d'alliance, en stipulant le nombre de troupes que chaque nation doit donner à son alliée dans le cas de guerre.