La storia di sette Papi dà vita al castello, ma non basta a riempire quelle ampie stanze, a popolare le sue mura; appena i Papi ebbero abbandonato il palazzo, non presentò questo maggiore interesse di tanti altri castelli baronali.
Sulla porta principale d'ingresso si scorgono le armi di Avignone, una città sorretta da due aquile, e al disotto tre chiavi papali in oro; entrando, si trovano cortili deserti, mura altissime, scale eterne, lunghi corridoi come nei monasteri, cappelle gotiche ora chiuse, ampie sale attualmente tramezzate, stanze nelle torri, vôlte sotterranee, un vero laberinto di Dedalo, che fa venire le vertigini. Rimbomba il tamburo; i soldati gridano, schiamazzano, e, negli splendidi appartamenti che furono di Clemente VI, si vedono ora lunghe file di materassi e lunghe file di soldati francesi. Dopo che la rivoluzione del 1790 ebbe cacciato da Avignone i legati pontificî, il palazzo venne senza difficoltà ridotto ad uso di caserma, e serba tuttora quella destinazione. Ne ha tutto quanto l'aspetto, essendo stata devastata in modo barbaro dai soldati durante la rivoluzione, e sotto la restaurazione del 1815. I preziosi affreschi delle cappelle e di parecchie stanze furono interamente rovinati, e non vi si scorgono più che a mala pena alcune reliquie di belle pitture, della scuola di Giotto.
Queste mura, ora mute, furono testimoni durante settant'anni della storia del papato, in una delle epoche più memorabili d'Europa, quando cominciava a splendere di bel nuovo la luce delle scienze.
Il primo Papa di Avignone fu Clemente V, Bertrando du Got, arcivescovo di Bordeaux, volpe astuta in abiti sacerdotali. Eletto e confermato in seguito a segrete intelligenze con Filippo il Bello, si fece incoronare a Lione contro il volere dei cardinali; li costrinse a venire in Francia, a seguirlo in Avignone, dove fissò la sua dimora nel 1309. La città apparteneva allora a Carlo II re di Napoli; il Papa, pertanto, era suo ospite; non esistendo colà palazzo pontificio, Clemente andò ad alloggiare nel convento dei domenicani. Si prestò servilmente ai voleri del despota francese, sopprimendo vergognosamente l'ordine dei templari. Nell'atto di morire, il gran maestro di questi, Giacomo Molay, citò il Papa ed il Re di Francia fra breve davanti al tribunale di Dio, e volle il caso che la sua profezia non tardasse ad avverarsi: poichè Clemente morì in Roquemaure nel 1314. Arricchì i suoi nipoti, ma non lasciò di sè che la memoria di un ambizioso sordidamente avaro, quale lo qualificarono due grandi ed illustri fiorentini, storico l'uno, santo vescovo l'altro.
Dopo la sua morte, Avignone continuò ad essere residenza del suo successore, provenzale di nascita e contemporaneamente vescovo della città. Giovanni XXII si lusingò di poterla ridurre a signoria della santa Sede e di unirla al contado Venosino, ed a Carpentras. Si rinnovarono nella piccola Avignone le sorti di Roma; i Papi, i quali avevano a poco a poco acquistato in questa il dominio temporale, mirarono pure a diventare signori di Avignone, non appena ebbero fissata ivi la loro dimora. L'energico vecchio si decise di trincerarsi in un palazzo in suolo straniero, ed in podestà del Re di Francia. Questa nuova abitazione doveva diventare una rocca con fossi e con torri, ed a questa si offriva adattissimo il Rocher des Doms, che signoreggiava il corso del Rodano.
Giovanni XXII gettò le fondamenta della rocca di Avignone, e risale alla sua epoca la maggiore torre, detta Trouillas, la quale si estolle colossale, tuttochè non ultimata. Nel veder sorgere davanti ai loro occhi questo edificio, i cittadini di Avignone, attoniti, non potevano comprendere quale fosse la sorte riservata alla loro patria. Giovanni prese ad abitare la sua fortezza, e si fu da questa che scagliò nel mondo i fulmini delle sue scomuniche, i quali andarono a colpire anche Lodovico il Bavaro; ivi accolse pentito l'antipapa Pietro di Corbara, ed ivi lo tenne prigioniero fino alla sua morte. Giovanni XXII morì nel 1334, in età di novant'anni. Alla sua morte si rinvenne ne' suoi scrigni l'ingente somma di venticinque milioni di scudi d'oro, dei quali diciotto in moneta sonante, e sette in vasellami e pietre preziose.
Tali erano le ricchezze dei Papi in quel loro esilio di Babilonia ed in un'epoca in cui lo stato della Chiesa si trovava in piena rivolta e in cui tutte quante le Provincie erano rovinate.
Giacomo Fournier fu il terzo Papa di Avignone e prese il nome di Benedetto XII. Vecchio, senza genio, ma dotto in teologia, succedette all'abile Giovanni XXII, l'amico dei re, col lodevole proposito di purgare la Corte papale dal nepotismo e la Chiesa dai mille abusi. Cominciò allora a regnare nel palazzo pontificio una disciplina severa, tutta monastica. Se non che lo stesso Benedetto XII, dal quale molto speravano i Romani, rimase sordo alle loro preghiere, alle loro ripetute istanze, perchè trasferisse di bel nuovo la sede del Papato a Roma. Il partito francese vi si oppose virilmente; il re costrinse il Papa a rimanere in Avignone, motivo per il quale Petrarca lo fece segno ai più vivi rimproveri.
Benedetto XII ridusse l'abitazione di Giovanni XXII a guisa di fortezza inespugnabile, dandole anche in certo modo, seguendo in questo la sua indole, l'aspetto di un monastero; nè poterono più, i suoi successori mondani, togliere all'edificio questo carattere.
Clemente VI fu uomo di spirito, istruito, d'inclinazioni mondane, un perfetto gentiluomo della casa di Beaufort, amico del Petrarca, amante delle belle arti, della poesia, delle scienze; egli chiamò le Muse alla voluttuosa sua Corte di Avignone. La città che gl'Italiani, nella loro perdonabile irritazione, nomavano Sodoma, o la seconda Babilonia, fioriva in quella epoca e brillava di un fugace splendore; in un teatro così ristretto la Corte dei Papi e dei cardinali non poteva estendersi; e quei Papi francesi non furono che baroni provenzali, che cittadini della piccola Avignone. Mentre questa fioriva, Roma era divenuta un villaggio. Abbandonata dai papi, che avea cacciati le tante volte dalle sue mura, ne bramava ora ardentemente il ritorno, e dal momento che questi non si decidevano a ritornare, si abbandonava, la città eterna ad una delle imprese più singolari che ricordi la storia. Era il tempo di Cola di Rienzo.