Il Palazzo dei Papi fu contemporaneamente residenza papale, luogo di culto, fortezza e sede amministrativa. Clemente V al suo arrivo ad Avignone si era insediato nel vasto Convento dei predicatori, sulle rive del fiume, mentre il suo successore Giovanni XXII, che era stato vescovo della città, si trasferì nel suo vecchio palazzo episcopale, che fece ingrandire e ridecorare, aggiungendovi sul lato sud una sala di udienza.
Trasformò inoltre l’antica chiesa di Santo Stefano, sul fianco sinistro della cattedrale, in cappella pontificale.
A partire dal 1334 Benedetto XII intraprese grandi lavori nel palazzo, incaricandone Pierre Poisson.
Inizialmente fu costruita una grande torre a sud del vecchio palazzo episcopale e una nuova grande cappella pontificale su due livelli sovrapposti. Successivamente verso nord vennero costruite le ali degli appartamenti privati e la torre dello Studio.
Contemporaneamente venivano progressivamente distrutte le altre ali del palazzo più antico, sostituite da nuovi corpi di fabbrica, articolati ciascuno intorno ad un cortile: ad est gli ambienti ufficiali della corte, a ovest gli alloggi dei familiari, a sud i vasti appartamenti per gli ospiti.
I lati sud e est furono fortificati da un possente bastione.
Clemente VI ingrandì ancora il palazzo: fu costruita la torre del Guardaroba che si addossava alla precedente torre del Papa e fu affidato l’incarico di costruire nuovi corpi di fabbrica verso sud e ovest a Jean de Louvres, originario della regione parigina, che realizzò a partire dal 1345 l’ala meridionale, con la Grande Audience e la Grande Chapelle, e l’ala ovest per alloggiare i principali dignitari della corte.
A quest’epoca risale la maggior parte delle decorazioni del palazzo: il pittore Matteo Giovannetti e la sua bottega crearono i cicli di affreschi sui temi della grandezza della Chiesa e sui legami tra Roma e Avignone.
Negli appartamenti privati del papa altri pittori non identificati realizzarono una decorazione naturalistica inedita, che rappresentava una foresta con le attività di caccia e pesca.
Sotto Innocenzo VI furono costruite le torri di san Lorenzo e della Grazia e sotto Urbano V creò la galerie Roma nel giardino superiore.
