Benoît XII, en 1336, fit démolir du palais tout ce que son prédécesseur avait fait construire, et d'après les plans de l'architecte Pierre Obreri [25], fit bâtir la partie septentrionale du palais apostolique, qu'il termina par la tour de Trouillas. Sous ce pontife, la chambre apostolique acheta le palais qu'avait fait bâtir Armand de Via pour servir d'habitation aux évêques d'Avignon. Clément VI fit construire la façade méridionale du palais des papes et les enceintes du midi qui, dans la suite, servirent à contenir l'arsenal.
C'est en 1347 seulement que la ville d'Avignon et le comtat Venaissin devinrent la propriété des papes. Avignon appartenait à Jeanne de Naples, qui était comtesse de Provence en même temps que reine des Deux-Siciles. Chassée de Naples comme soupçonnée de complicité avec les assassins de son mari, André de Hongrie, Jeanne se réfugia en Provence, et vint se jeter aux pieds de Clément VI. Lorsqu'elle quitta Avignon pour retourner dans ses États d'Italie, elle était déclarée innocente du crime dont la voix publique l'accusait; elle était munie d'une dispense pour épouser son cousin Louis de Tarente, le principal instigateur de l'assassinat d'André. Avignon et le comtat Venaissin appartenaient au pape. Cette cession avait été stipulée au prix de 80000 florins.
Innocent VI acheva la partie méridionale et la grande chapelle supérieure. Urbain V fit tailler dans le roc l'emplacement de la cour principale du palais, et y fit creuser un puits; il fit construire l'aile orientale donnant sur des jardins, et ajouta une septième tour, dite des Anges, aux six déjà bâties.
Grégoire XI part pour Rome en 1376, et meurt en 1378. Ainsi le palais d'Avignon a été le siége de la papauté de 1316 à 1376, pendant soixante ans, sous six papes. La papauté était alors française, élue principalement parmi les prélats gascons et limousins. Les papes français installèrent des candidats de leur choix au sein du sacré collége, et maintinrent leur prédominance pendant la durée du séjour des papes à Avignon. Il ne faut pas oublier ce fait, qui eut, comme nous le verrons tout à l'heure, une influence sur la construction du palais des papes d'Avignon.
Les antipapes, Clément VII et Benoît XIII, occupèrent le palais d'Avignon de 1379 à 1403 (mars).
Benoît XIII fut assiégé dans le palais par le maréchal Boucicaut, le 8 septembre 1398; le siége fut converti en blocus jusqu'après le départ de ce pontife, en 1403. Roderic de Luna, neveu de Benoît XIII, fut de nouveau assiégé, ou plutôt bloqué, par les légats du pape de Rome et par Charles de Poitiers, envoyé par le roi de France en 1409. Il évacua le palais, ainsi que le château d'Oppède, par capitulation en date du 22 novembre 1411.
Le cardinal légat (cardinal de Clermont) fit bâtir, en 1513, l'appartement appelé la Mirande, regardant le midi, et la galerie couverte qui mettait en communication ces appartements avec les tours donnant sur le jardin: c'était là que les vice-légats recevaient leurs visites.
On a tenu dans le palais d'Avignon six conclaves:
Celui pour l'élection de Benoît XII, en 1335; de Clément VI, en 1342; d'Innocent VI, en 1352; d'Urbain V, en 1362; de Grégoire XI, en 1370, et de Benoît XIII, en 1394.
À la suite d'un conflit qui eut lieu entre les gens du pape et ceux du duc de Créquy, ambassadeur de Louis XIV près le saint-siége, les satisfactions demandées à la cour de Rome paraissant insuffisantes, le roi de France fit occuper Avignon par ses troupes, et menaça le souverain pontife d'envoyer un régiment à Rome (1662). Le général Bonaparte, par le traité de Tolentino, obtint la cession des Romagnes et du comtat d'Avignon.