Joseph crut devoir quitter Madrid pour se rapprocher de la France dont il attendait des renforts. Napoléon entra dans la Péninsule, prit la direction des affaires militaires. Le roi le rejoignit avec sa garde, mais l'empereur ne voulut pas avoir son frère près de lui à l'armée et le relégua sur les derrières, puis à Burgos. Cette façon d'agir choqua Joseph et ses ministres. Il s'en plaignit dans une lettre pleine de noblesse écrite à son frère le 10 novembre, de Miranda[18]. Il ne put rien obtenir et fut sur le point de revenir en France abandonnant le trône des Espagnes. Il se résigna à attendre pour ne pas être le premier à jeter la pierre à Napoléon. Ce dernier entra à Madrid le 4 décembre 1808, et changeant de nouveau de politique à l'égard de son frère et de l'Espagne, dans la pensée secrète de s'emparer de ce royaume et d'en annexer les provinces du Nord, il proposa à Joseph de lui donner la couronne d'Italie. Ce dernier, fatigué de ces changements perpétuels, refusa, eut plusieurs conférences avec l'empereur et revint dans sa capitale où il fit une entrée solennelle le 22 janvier 1809.
Dès son retour à Paris, Napoléon montra de nouveau de la défiance à son frère Joseph, recommença à lui reprocher sa façon de gouverner, mais sans vouloir le mettre à même, en lui en donnant les moyens, de sortir de l'impasse dans laquelle il le tenait. Le 9 février 1809, Joseph lui écrivit:
Vous écoutez sur les affaires de Madrid ceux qui sont intéressés à vous tromper, vous n'avez pas en moi une entière confiance. Et plus loin: Je serai roi comme doit l'être le frère et l'ami de Votre Majesté, ou bien je retournerai à Mortefontaine[19] où je ne demanderai rien que de vivre sans humiliation et de mourir avec la tranquillité de ma conscience, etc.
Les choses restèrent dans cet état en Espagne jusqu'au milieu de 1809; mais alors elles prirent, pour le roi, une tournure des plus fâcheuses, ainsi que cela résulte des lettres de Joseph à sa femme, la reine Julie. Nous donnerons plus loin ces intéressantes lettres; mais, avant, un mot encore sur les exactions de quelques généraux français en Espagne et sur quelques affaires de l'époque, relatives à Joseph. Le 24 février 1810, il écrit de Xérès au prince de Neufchâtel:
La lettre de Votre Altesse me fait croire que l'empereur me croit instruit d'une contribution de quinze cent mille francs levée par le général Loison, j'aurais désiré savoir en son temps si l'empereur l'a ordonnée et je prie S. M. de réprimer un pareil abus de pouvoir, si elle ne l'a pas autorisée. Tous mes efforts échoueront contre des vexations semblables que se permettraient des généraux particuliers; le général Kellermann est aussi dans ce cas; l'ordre est impossible si des généraux de division font ce que je ne me permettrais pas de faire et S. M. I. et R. est trop juste pour le vouloir.
Tout est ici au mieux; les provinces de l'Andalousie sont pacifiées, parce que la justice y règne et que je n'ai qu'à me louer des généraux qui y sont.
Je prie Votre Altesse d'agréer mon sincère attachement.
Les ordres ont été donnés au général Loison pour les 100,000 francs.
Le 2 mars il prévient l'empereur qu'il fait venir près de lui sa femme et ses enfants et ajoute:
Kellermann, Ney, Thiébaud sont des gens qui ruineront le pays qu'ils doivent administrer, etc.