Wolsey s'était séparé à Londres de son collègue. Campeggio allait s'embarquer à Douvres, lorsque son appartement fut envahi par la police. Ses malles furent fouillées. On l'accusait d'emporter les trésors de Wolsey afin de les soustraire aux confiscations. La vérité, c'est qu'on cherchait dans les bagages du légat la bulle décrétale qu'il avait brûlée, et les lettres de Henri VIII à Anne Boleyn que Rodolphe, l'un des fils de Campeggio, avait déjà déposées à Rome, où elles sont encore. Campeggio se plaignit; mais le roi, content de l'avoir effrayé et outragé, défendit qu'on lui fît aucune réparation.
Wolsey ne fut pas quitte pour si peu. Il fut accusé devant le Parlement, et difficilement libéré sur les habiles discours de Thomas Cromwell.
Le cardinal n'était plus que l'ombre de lui-même. Les lords, qui lui devaient tout, l'abandonnaient. Le roi le dépouillait successivement de ses palais, de ses mobiliers, de son or. Wolsey buvait l'ingratitude et l'insulte jusqu'à la lie. Tout son orgueil s'était évanoui. Il était si accablé de son malheur, qu'il ne gardait plus ni le moindre courage ni la moindre dignité. Sa racine était coupée. Le roi manquant, Dieu lui-même ne le soutenait pas. Tous ses rêves de domination universelle s'étaient envolés. «J'ay esté voir le cardinal en ses ennuis, écrit du Bellay. J'y ay trouvé le plus grand exemple de fortune. Il m'a remonstré son cas en la plus mauvaise rhétorique: cueur et parolles lui failloient entièrement. Il a bien pleuré.... De légation, de sceau, d'auctorité, de crédit, il n'en demande point; il est prest à lâcher tout, jusqu'à la chemise, et qu'on le laisse vivre en un hermitage, ne le tenant le roi en sa malle grâce. Je l'ay réconforté au mieulx que j'ay pu, mais je n'y ay su faire grant chose.»
Après la scène de Grafton, voilà Wolsey à York-Palace, son riche hôtel de Londres!
Le 17 octobre (1529), les ducs de Suffolk et de Norfolk se présentèrent chez le cardinal et lui demandèrent le grand sceau de chancelier. Wolsey leur répondit qu'il ne le rendrait que sur une cédule du roi. Ils revinrent le jour suivant avec la cédule, et le cardinal remit le sceau. Les ducs le transmirent à Thomas Morus.
Henri VIII voulait York-Palace pour en faire une demeure royale sous le nom de Westminster-Hall; il voulait York-Palace comme il avait voulu Hampton-Court.
Le cardinal ne chicana point avec le destin. Il ordonna d'étaler dans ses galeries ses statues, ses tableaux, ses coupes ciselées, ses bagues, ses bijoux, les présents de François Ier, de Charles-Quint, de Jules II, les chefs-d'œuvre des plus sublimes artistes de la Renaissance. Sir William Gascoigne, l'intendant du cardinal, vida tous les coffres en soupirant. Quand il livra tant de magnificences aux officiers du grand maître, le duc de Suffolk, sir William ne put cacher son émotion. Des gouttes de sueur coulèrent de son front et de grosses larmes de ses yeux.
Cependant le cardinal commanda sa barge, traversa la Tamise, monta sur sa mule, et suivit avec Cavendish, le serviteur des derniers jours, de la dernière heure, et Patch, son fou, le chemin de sa maison d'Esher, dont le roi ne s'était pas encore emparé. C'était une demeure féodale bâtie par Wolsey, à quelques milles de Londres. Des tours gothiques on apercevait la Tamise, les prairies et les cottages qui la bordent. Le cardinal espérait vaguement trouver dans son parc, d'une noble simplicité, et dans le recueillement de ce refuge champêtre le calme qui n'était plus en lui.
Du reste, quand le roi avait exercé contre Wolsey une violence, ou une rapine, ou une menace, quand il avait cédé soit à ses propres rancunes, soit aux perfidies des seigneurs, soit aux récriminations de lady Anne, il avait des réveils d'affection pour son aumônier d'autrefois, pour son ministre tombé. Henri lui adressait alors quelque consolation. Il obéit à l'un de ces bons mouvements le jour où Wolsey quitta York-Palace pour Esher. Le cardinal allait mélancoliquement au pas de sa mule, lorsqu'il entendit derrière lui une petite troupe de cavaliers. S'étant retourné, il reconnut Norris et plusieurs valets du palais, vêtus aux livrées des Tudors. Norris aborda respectueusement le cardinal.
—Milord, dit-il, je vous apporte de la part de Sa Majesté une bague et une lettre. Prenez, milord; mon message est un augure.