Under prövningsåren i Spanien träda Josephs mindre sympatiska sidor skarpt i förgrunden, särskilt hans brist på självkännedom och självkritik, hans fåfänga och obeslutsamhet. I sin ställning som krönt kungligt spanskt majestät överglänste Joseph betydligt alla sina syskon, ja, även Napoleon med sin nästan vidskepliga respekt för gamla troner och helgade värdigheter bemötte honom med vida mer konsideration än då han bar Neapels krona. Joseph insåg dessvärre ej att hans prekära belägenhet gjorde hela det lysande spanska majestätet till en ganska slät person. Han uppträdde med stor arrogans, lät kalla sig Don Joseph, med Guds nåde konung av Castilien, Aragonien, Bägge Sicilierna, Jerusalem, Navarra, Granada, Toledo etc. etc. Algeciras, Gibraltar, Canariska öarna, Öst- och Västindien, ärkehertig av Österrike, hertig av Bourgogne, Brabant, Milano, greve av Habsburg, Tyrolen, Barcelona, herre av Biscaya och Malina, och sökte även omgiva sig med all den glans, som denna oändligt förnäma titulatur fordrade av sin bärare. Därest Joseph verkligen under sin korta regeringstid besökt kungagravarna i Escurial, borde han från de skumma gravgemaken tyckt sig höra de dödligt förolämpade skuggorna ropa emot honom: främling, usurpator! Gentemot Napoleon själv återtog han något av den gamla beskyddande äldstebrorstonen. Men han trodde sig ej blott vara en stor konung, han inbillade sig även vara en framstående militär, och noga räknat var han rätt oskyldig till detta misstag: hade inte brodern om och om igen smyckat honom med fältherretalanger! Nu när Joseph verkligen var i behov av sådana trodde han sig också äga dem med hans självöverskattning var det kanske naturligt. Napoleon var emellertid rädd för att Joseph verkligen skulle på allvar göra bruk av sitt nya överkommando. När han till Josephs stora förtrytelse från Spanien återkallade den enda franska general, som var Josephs man, Jourdan, säges han ha fällt yttrandet, att det ej var värt att dessa tvenne män voro tillsammans "Jourdan inbillar Joseph att han är ett militäriskt geni, och Joseph inbillar Jourdan att han är en homme d'esprit". Om Joseph verkligen uppsåtligen strävat att lösa det spanska problemet på nationell grund liksom i Neapel, så hade han i varje fall från början varit dömd att misslyckas. Han hade att kämpa både mot Napoleons generaler och sitt upproriska, främlingshatande folk, vilket ej ens ville inse, att han sökte sitt stöd i detsamma. Joseph var ej mannen för dylika uppgifter. För att kuva det upproriska Spanien hade behövts en militär, för att regera det en fast och säker och överlägsen personlighet — Napoleon själv! Joseph var varken fransman eller infödd, och gentemot ett folk i uppror kom han ej långt med sin slappt goda vilja, med sina sällskapstalanger eller sina 1789-års idéer.
Första tiden efter Josephs återkomst till Paris var hans kejserlige broder förbittrad och anklagade honom för att genom sitt lättsinne ha varit anledningen till att han gått miste om Spanien, men i det nödläge vari Napoleon befann sig dröjde det ej länge innan han kallade exkonungen tillbaka från Mortefontaine, dit han förvisat honom. Napoleon kände sig ensam, han behövde en vän, och vad var naturligare än att han sökte stöd och vänskap, där han var van att sedan barnaåren finna detta. För Napoleon var blodet tjockare än vattnet, och grymt nog mera för honom än för hans syskon.
Joseph insattes nu i sina förra värdigheter, han kallades fransk prins med alla de förmåner denna titel förde med sig, men om hans kungliga värdighet var ej mera tal. I stället ernådde han nya fördelar. När Napoleon år 1814 begav sig till krigsskådeplatsen, utnämnde han Joseph till högsta befälhavare över trupperna i Paris och ställde honom vid regentinnan Marie-Louises sida för att bistå henne med råd och hjälp.
Så fick då Joseph för första gången det av honom engång så varmt eftersträvade uppdraget att vara Napoleons ställföreträdare. Mindre än någonsin var han vuxen den ansvarsfulla uppgiften. Ty det var nu kejsardömets och Napoleons ödestimma slog. Här fick Joseph ett tillfälle att ohjälpligt demaskera sin oförmåga. I stället för att koncentrera trupper och göra allt vad göras kunde för att möta de allierade, som tågade mot Paris, tänkte han endast på huru familjens olika medlemmar skulle kunna rädda sig. Efter tät korrespondens med Napoleon utsåg han Blois till reträttplats, och den 29 mars sände han dit Marie-Louise och konungen av Rom, och här samlades småningom de olika medlemmarna av familjen. Den 30 mars gav han, efter överläggning med Jérôme, generalerna Marmont och Mortier order om kapitulation, och strax därefter begav han sig själv till Blois. Nu överge alla i rasande fart det sjunkande skeppet. Brev på brev skriver Napoleon för att hålla sina syskon åtskilda på lämpligt avstånd: "säg Louis att han reser till södern, klimatet där har ju alltid gjort honom gott, säg Julie att hon beger sig till de sina i Marseille" o.s.v. Men ingen lystrar mera till hans befallningar, envar tänker blott på sig själv och sina intressen, Joséphine och Hortense taga emot den ryske tsaren, som bländar dem med sin älskvärdhet och sin charm, Marie-Louise underhandlar med Österrike och söker hjälp och stöd hos sin fader. Men i Fontainebleau sitter ensam och fången den store mannen, som de alla haft att tacka för rikedom och framgång, örnens vingar äro skadskjutna, numera skrämmer han ingen.
Efter Napoleons första tronavsägelse 1814 begav sig Joseph Bonaparte med sin familj till Schweiz, där de bosatte sig på slottet Prangins vid Genèvesjöns stränder, vilket Joseph hade köpt. Det låg icke långt från Coppet, och Joseph fick även snart besök av madame de Staël, som en dag, då Joseph satt vid sitt middagsbord med skådespelaren Talma som gäst, infann sig oanmäld för att underrätta honom om en konspiration mot Napoleon, som hon fått reda på, och vilken Joseph genom att sända en gammal trotjänare till Elba lyckades avvärja.
Joseph befann sig på sitt gods, när han i mars 1815 fick underrättelse om att Napoleon hade lämnat sin förvisningsort och landat i Frankrike. Liksom förr vid de stora tillfällen, då Napoleon satte in allt på ett kort, sällade sig Joseph till sin broder. Han stod trofast på Napoleons sida under de hundra dagarnas korta epok, och han var en av dem, som efter slaget vid Waterloo livligast uppmanade brodern att ej avsäga sig tronen utan ännu en gång pröva sin lycka mot de allierade. Och när han vid ett sammanträffande med Napoleon förstod, att brodern, trött och gripen av pessimism, ej mera hade krafter till ännu en djärv aktion, gjorde han allt vad han kunde för att övertala Napoleon att i hemlighet rädda sig över till Amerika. Joseph hade gjort upp ett förslag till flykt, enligt vilket han och Napoleon skulle inskeppa sig på var sitt fartyg för att på skilda vägar nå den nya världen. Fördenskull sammanträffade han med sin bror i Rochefort och på l'Ile d'Aix. Men då Napoleon var för rädd om sin värdighet för att vilja rädda sig i hemlighet och strax därefter ställde sig under engelskt beskydd, beslöt Joseph att ensam riskera färden. Under antaget namn och följd av endast fyra personer av sin svit, inskeppade han sig i Royan den 25 juli 1815 med New York såsom mål. Fartyget, briggen le Commerce, lyckades trots de många visiteringarna från engelska fartygs sida klara sig, och Joseph anlände lyckligt till New York den 28 augusti. Kaptenen på båten var liksom alla andra okunnig om vem han förde med sig. Han anade, att bakom det namn, som den franske flyktingen uppgivit, dolde sig en person, som spelat en inflytelserik roll, men var för sin del övertygad om att det var förre direktoriemedlemmen och krigsministern Carnot, som han åtagit sig att föra över, och så, med en egendomlig ödets ironi, var det med ett välkomsttal till den gamle republikanen Carnot, som den franske Caesars broder mottogs på New Yorks redd av stadens borgmästare!
Joseph började sin vistelse i Förenta staterna med att företaga en mängd resor härs och tvärs, han vistades långa tider i de stora städerna, roade sig, lät sig hyllas och lärde åtminstone ytligt att känna amerikanska förhållanden. När Joseph tröttnade på att resa, köpte han sig i New Jersey ett vackert lantgods, Point Breeze, vid floden Delaware, och under namn av greve de Survilliers slog han sig ner därstädes. Han var sysselsatt med att odla sin jord, sköta sin enorma korrespondens och skriva sina memoarer — viktiga dokument till denna tids historia, vilka ännu ej utkommit i tryck. Han vann såsom vanligt genom sin älskvärdhet och sin godmodighet allas vänskap, och kring honom samlades ej blott personer med kända namn och höga titlar — även Lafayette besökte honom under sitt triumftåg i Amerika — hit till hans lantgods och hans vackra palats i Filadelfia kommo också en stor mängd av de flyktingar, som för att undgå den nya regimens förföljelser räddat sig över till Amerika. Gentemot dessa visade han stor hjälpsamhet och välvilja. Hans hustru Julie, som varken följt honom till Neapel eller till Spanien, åberopade sin klena hälsa för att ej vara tvungen att göra den långa resan över havet, men hans döttrar Zénaïde och Charlotte liksom även den förras man samt Luciens son Charles Bonaparte delade under lång tid hans landsflykt. Senare, år 1824, lämnade Charlotte sin far för att gifta sig, också hon med en kusin, Louis' äldre son Louis-Napoleon-Charles.
På grund av Josephs till det yttre så lugna tillvaro under de sjutton år som han utan avbrott tillbragte i Amerika kunde man tro, att han hade lämnat alla planer på att nå det mål, som under hela hans bana stått för honom såsom det högsta: arvsföljden efter Napoleon. Så var emellertid icke fallet. I den stilla tillbakadragenheten väntade han endast på att få taga det arv, som han alltid ansett såsom sin oförytterliga rätt. När underrättelsen om julirevolutionen nådde Joseph, riktade han till Frankrikes deputeradekammare å Napoleons sons vägnar en skarp protest och framställde därjämte i en mängd brev till högställda personer anspråk på tronen för sin brorson och protester mot sin egen och sin familjs tvungna landsflykt.
När han år 1832 fick kännedom om att hertigen av Reichstadt — Örnungen — tynade bort i en tärande sjukdom, skyndade Joseph till Europa. Han hyste inom sig hoppet att få tillstånd att uppsöka sin brorson i Wien och därefter i Italien sammanträffa med sina egna. Han misstog sig emellertid, han fick tillstånd att stanna i England, där han landstigit, men tilläts ej att resa till kontinenten eller sammanträffa med någon av sin familj. När sedan hertigen av Reichstadt var död, uppträdde han själv öppet såsom fransk tronpretendent och upphörde ej att rikta protester mot Louis-Philippes, borgarkonungens, regering. Han vann intet annat med sina klagomål än att bli betraktad såsom konspiratör och ännu noggrannare övervakad av de allierades agenter. Då Joseph, trots den välvilja med vilken han bemöttes överallt i England, ej trivdes där, företog han ytterligare två resor till Amerika. När han kom tillbaka från sin tredje vistelse därstädes, var han bruten av trötthet och sjukdom — han var då redan 72 år — och efter att ha träffats av ett slaganfall, begärde och erhöll han tillstånd att göra en badsejour i Wildbad. Men hans anhållan om att när denna var slut få resa till de sina blev även nu avslagen, och han var tvungen att återvända till Londons dimmor, som för honom — corsikanen — voro dödande. År 1841 inbjöd honom emellertid konungen av Sardinien att bosätta sig i hans land, och följande år erhöll han en liknande uppmaning av storhertigen av Toscana. Joseph kunde nu äntligen flytta till Florens, där han sammanträffade med de syskon som bodde här, med sin hustru och sin dotter Zénaïde — den yngre, Charlotte, var sedan två år tillbaka död, efter att under åtta år såsom änka ha sörjt den unge frihetshjälte vid vilken hon bundit sin lycka.
Joseph Bonaparte dog den 28 juli 1844 i Florens. Han hade uttalat såsom sin önskan att hans kvarlevor skulle överflyttas till Paris, så snart förhållandena gjorde det möjligt. Hans sista önskan blev också uppfylld. Från kyrkan Santa-Croce i Florens, där han blivit begraven, blev hans kista flyttad till Invaliddômen, där Napoleons stoft vilar.