På sin ålderdom, som förflöt i relativ obemärkthet, ingick Jérôme nytt gifte med markisinnan Giustina Bartolini. År 1860 slutade han sitt växlingsrika liv och fick sitt sista vilorum i Invalidhotellet, i samma rum, där Napoleon vilade.
Det ligger något tragiskt över Jérômes förhållande till Napoleon. Napoleon hade skänkt honom all hans ungdoms glädje och lycka och senare makt och rikedomar, och Jérôme skulle varit stolt över att kunna återgälda sin bror och välgörare. I stället bidrog han genom lättsinne och överdåd till hans fall, och bakom alla de bittra förebråelser, som Napoleon måste göra sin yngste, älskvärde, godhjärtade broder, tycker man sig höra ett vemodigt: "du är för liten för att förstå mig, du är för liten för att kunna följa mig."