Franciskanerne blev kaldt gråbrødre på grund af deres grå kutter – de klædte sig som bønder og måtte intet eje. Reformationen i 1536 markerede overgangen fra katolicisme til protestantisme i Danmark, og det medførte, at de danske klostre blev nedlagt og deres jorder inddraget af kongen.
En del af gråbrødrenes gamle område blev dog bevaret som byens fattigkirkegård. I begyndelsen af 1800-tallet blev kirkegården udvidet og anlagt i engelsk havestil, hvorefter den blev et eftertragtet sted for byens spidser at blive begravet.
I 1853 blev kirkegården omfattet af en statelig mur. Arkitekterne Henning Wolff og Ferdinand Meldahl tegnede efterfølgende det fornemme kapel, der blev bygget i 1856. Både porten ud til Hestetorvet, muren og kapellet er i dag fredede bygningsværker.
Komponisten C.E.F. Weyse boede egentlig i København, men han kom meget i Roskilde. Han er blandt andet kendt fra en lang række salmer og sange som ”I østen stiger solen op” og ”Storken sidder på bondens tag”.
Én af de sidste gange, Weyse var i Roskilde, købte han et gravsted på Gråbrødre Kirkegård under et allerede dengang gammelt bøgetræ. Han døde i København i 1842, og blev derefter begravet under bøgen, der fik tilnavnet ”Weyses bøg”. Træet var over 200 år gammelt i 2006, da det på grund af tøndersvamp blev skåret ned og formet til den skulptur, man nu kan se ved siden af graven.
I den sydlige ende af kirkegården ligger den kendte forfatter Gustav Wieds begravet.
Nord for kapellet ligger Roskildes store mæcen, O.H. Schmeltz, begravet. Han levede fra 1814 til 1898. Schmeltz donerede frem til sin død 232.000 kroner til både et nyt rådhus og en bypark i Roskilde. Herudover iværksatte han en lang række godgørende formål som fx boliger og penge til udsatte kvinder og børn. Det samlede beløb var på den tid en anselig pengesum, og svarer i dag til adskillige millioner kroner.