Petit Palais se construyó en 1317. Se encuentra ubicado en la parte norte de la plaza, frente a la residencia de los Estados Pontificios, y se llama así debido a su tamaño y valor modesto comparado con el Palacio de los Papas.

La historia de su aparición vaga: según una versión - que fue construido para un sobrino del Papa Juan XXII, Arnaud de Via, por el otro - que fue construido por el cardenal Bérengère F. Elder. Después de su muerte, el palacio y los jardines fueron comprados por el cardenal Arnaud de Via. En 1335 Via De murió y el palacio pertenecía a nadie hasta la llegada de Benedicto XII, que lo compró de nuevo y se convirtió en la residencia oficial del arzobispo de Avignon.

El edificio fue severamente dañado en el período de 1396 al 1411. Debido a que era considerado un bastión de los papas de Aviñón fortificados. Tras el final de las hostilidades, el palacio cayó poco a poco en mal estado. En la segunda mitad del siglo XV, el obispo Alain de Kotivi y su sucesor Giuliano della Rovere (que más tarde se convertiría en el Papa Julio II) decidieron restaurar el edificio y en 1503 le dieron forma casi primordial. Della Rovere llegó a Aviñón en 1474, cuando fue nombrado por su tío, el papa Sixto IV, el obispo de Aviñón. Añadió en las fachadas sur y oeste en estilo renacentista italiano y en 1487 erigió una torre (más tarde, en 1767 fue destruida).

Durante la Revolución Francesa, el palacio pasó a ser propiedad del Estado, en el siglo XIX era una escuela católica y más tarde una escuela vocacional. Sólo al final del siglo XX en el territorio del palacio ha sido un museo.

Desde 1958, es la sede del Museo de la Edad Media. En 1976 se abrió una galería de arte de obras de maestros del Renacimiento. Las 19 salas del museo, en particular, la obra de Sandro Botticelli, Taddeo Gaddi, Taddeo di Bartolo, Lorenzo Monaco, incluso aquí se encuentra la famosa "Madonna" Botticelli.