Oprindelig lå der en bispegård fra 1100-tallet og frem til Reformationen i 1536, hvor Palæet ligger i dag. Herefter blev gården embedsbolig for lensmanden, og den ændrede navn fra Bispegården til Roskildegård. I 1660 indførte kongen enevælden, og to år efter blev de såkaldte len afløst af amterne. Den efterhånden nedslidte gård blev herefter en amtmandsgård.
I 1733 blev amtmandsgården revet ned, og kongen lod den kun 27-årige hofbygmester Laurids de Thura opføre de bygninger, som vi i dag kender som Palæet. Hensigten med det nye palæ var at give kongen og hans følge et sted at opholde sig, når de var på gennemrejse eller deltog i ceremonier i Roskilde Domkirke, der jo er de danske kongers og dronningers gravkirke.
I starten af 1800-tallet voksede demokratibevægelserne i Europa, hvilket også påvirkede den politiske udvikling i Danmark. Den enevældige konge, Frederik VI, oprettede ved forordningen af 15. maj 1834 de rådgivende stænderforsamlinger, og i årene op til grundlovens indførelse i 1849 var Palæet mødestedet for østifternes stænderforsamling.
Da den nye grundlov blev indført i 1849 bortfaldt stænderforsamlingerne. Herefter blev Stændersalen omdannet til en lejlighed, hvor forskellige prominente personer, herunder Holger Drachmann, har boet. Fra 1923 blev Palæet atter til bispebolig - dog flyttede bispen i 1981 over i østfløjen.
Desuden kan man i bygningerne i dag finde stiftskontor og to kunstgallerier. Museet for Samtidskunst i Palæets hovedbygning blev grundlagt i 1991 og blev statsanerkendt i 1994. Roskilde Kunstforening blev stiftet i 1940 og har fra 1991 haft til huse i Palæets vestfløj.