Mały pałac został zbudowany w 1317 roku. Znajduje się on w północnej części placu, naprzeciwko rezydencji Papieskiej, i nazwany tak z powodu swoich skromnych rozmiarów i wartości, w porównaniu z pałacem papieży.

Historia jego pojawienia się туманна: według jednej z wersji – został zbudowany dla bratanka papieża Jana XXII, Arnaud de Vía, w drugiej - został zbudowany przez kardynała Беренжером F. Starszym. Po jego śmierci pałac i otoczenie zostały wykupione przez kardynała Arnaud de Via. W 1335 roku De Via zmarł i pałac nikomu nie należał aż do przybycia papieża Benedykta XII, który ponownie kupił go i zamienił się w oficjalną rezydencję авиньонского arcybiskupa.

Budynek mocno ucierpiał w okresie od 1396 w 1411 r., ponieważ uważano wzmacniane cytadeli авиньонских tato. Po zakończeniu działań wojennych pałac podupadł. W drugiej połowie XV wieku biskup Alan de Котиви i jego wyznawcą Giuliano della Rovere (który później stanie się Papieża Juliusza II) postanowili przywrócić budynek do 1503 roku nadali mu prawie oryginalny wygląd. Della Rovere przybył w Avignon w 1474 r., tak jak on został mianowany wujkiem, Papieża Sykstusa IV, biskup авиньонским. On достроил, południowy i zachodni elewacje w stylu włoskiego renesansu i w 1487 r. wzniósł wieżę (później, w 1767 roku został zniszczony).

W czasie rewolucji francuskiej pałac stał się własnością państwa, w XIX wieku mieściło się w nim szkoła katolicka, a później szkoła zawodowa. Dopiero pod koniec XX wieku na terenie pałacu otwarto muzeum.

Od 1958 roku mieści się tu Muzeum Średniowiecza. W 1976 roku została otwarta galeria prac artystów epoki Renesansu. W 19 salach muzeum są wystawione, w szczególności pracy Sandro Botticelli, Таддео Гадди, Таддео di Bartolo, Lorenzo Monaco, w tym tutaj znajduje się słynna "Madonna" Botticelli.