Je reçois vos lettres du 26. Nos troupes sont entrées à Rome. Lucien me demande à se retirer dans une campagne aux environs de Naples avec sa famille; il me dit qu'il n'est pas en sûreté à Rome, que la populace croit qu'il a été décidé par Votre Majesté, lors de son entretien avec elle à Mantoue, que les États du Pape lui seraient donnés. Je lui réponds qu'il ne m'est pas possible d'y voir sa femme, que je l'y verrai avec mes nièces si cela est utile à sa santé, que je croyais devoir vous en écrire, que les troupes françaises étant à Rome, je ne voyais pas ce qu'il avait à craindre s'il voulait y rester.

Le 11 mars, l'empereur répondit de Saint-Cloud à Joseph:

Mon frère, Lucien se conduit mal à Rome, jusqu'à insulter les officiers romains qui prennent parti pour moi, et se montrer plus romain que le pape. Je désire que vous lui écriviez de quitter Rome et de se retirer à Florence ou à Pise. Je ne veux point qu'il continue à rester à Rome, et s'il se refuse à ce parti je n'attends que votre réponse pour le faire enlever. Sa conduite a été scandaleuse, il se déclare mon ennemi et celui de la France; s'il persiste dans ces sentimens, il n'y a de refuge pour lui qu'en Amérique. Je lui croyais de l'esprit, mais je vois que ce n'est qu'un sot. Comment à l'arrivée des troupes françaises pouvait-il rester à Rome? Ne devait-il pas se retirer à la campagne? Bien plus, il s'y met en opposition avec moi. Cela n'a pas de nom. Je ne souffrirai pas qu'un Français et un de mes frères soit le premier à conspirer et à agir contre moi avec la prêtraille.

Votre affectionné frère.

L'empereur exigea que son frère Lucien quittât Rome pour aller s'établir avec les siens à Florence, et Joseph fut chargé de veiller à ce changement de résidence qui eut lieu à la fin d'avril 1808.

Lucien, fatigué des tracas que lui suscitait Napoléon, fut sur le point de se rendre en Amérique avec les siens. Il fit part de ce projet à l'empereur et à Joseph. Ce dernier lui répondit le 15 mai 1808:

J'ai reçu ta lettre, mon cher Lucien, j'espère que la réponse que tu auras attendue de l'empereur te fera changer de résolution et que tu pourras rester en Europe. Je fais des vœux pour que cela soit ainsi et que tu sois plus heureux dans tes relations directes que tu ne l'as été par mon intermédiaire.

S'il en était autrement et que tu partisses réellement, ce qui me paraît un événement déplorable, tu ne dois pas douter que je ne remplisse tes vues. Je t'embrasse bien tendrement avec ta famille et j'espère que l'immensité des mers ne m'ôtera pas la possibilité de t'embrasser en réalité bientôt.

Ce projet, abandonné alors, fut repris par Lucien en août 1810. Le 10 de ce mois, il s'embarqua pour l'Amérique avec sa famille à bord du trois-mâts l'Hercule, frété par lui pour le voyage. Le bâtiment avait à peine dépassé la Sardaigne que, rencontré par les croisières anglaises, il fut capturé. Lucien et les membres de sa famille, déclarés prisonniers de guerre, furent conduits à Malte où ils arrivèrent le 24 août, puis transférés en Angleterre où ils débarquèrent le 28 décembre. Ils furent relégués à Ludlow (principauté de Galles).

Pendant son règne à Naples, Joseph eut encore à supporter, à plusieurs reprises, des rebuffades de son frère; ainsi le 12 novembre 1807, à propos de l'expédition de Sicile, Napoléon lui écrivit de Fontainebleau: