Duebrødre-ordenen hørte til Helligåndsordenen, der blev stiftet i 1175. Hospitalet omtales første gang i kilderne omkring år 1211.
Hospitalet lå oprindelig i det gamle Duebrødrevænge, hvor nu Duebrødrevej løber ca. 500 meter mod vest. Da Duebrødrevej blev anlagt i 1918, stødte man på rester af bygningerne, blandt andet en kælder med en velbevaret trappe.
Desuden fandt man kampestensfundamentet til hospitalskirken, som stadig er bevaret i det lille anlæg ved Duebrødrevej. Der blev også fundet et stort antal middelalderlige mønter fra 1200 til 1300- tallet på grunden.
I 1741 blev det dengang nye Duebrødre Hospital opført ved Fondens Bro, hvor Rådhuskælderens have nu ligger. I 1830 blev der bygget en etage ovenpå, men som det ses på skitsen i galleriet, var forholdene alligevel meget trange i det gamle hospital fra 1741. Beboerne boede i to sale – én for enlige og én for par. Sengene var adskilt med mandshøje træskærme, men der var åbent ud til midtergangen. Gangkonen lavede mad til beboerne, der til gengæld selv skulle sørge for kaffe eller te.
Med årene stod det klart, at det gamle Duebrødre Hospital var for lille og for dårligt indrettet, idet ikke mindst kvindernes havde et begrænset privatliv med de åbne sale. I 1877 indsamlede man derfor midler til at bygge et nyt hospital, som den berømte arkitekt Herholdt fik til opgave at tegne. Det nye hospital skulle lægge sig op ad arkitekturen fra Christian den 1.s kapel på Domkirken.
Nabogrunden til det gamle hospital blev købt af kommunen for 700 kroner, mens det nye hospital blev opført for en byggesum af 82.000 kroner. Efter opførelsen af det nye hospital blev her foruden portnerfamilien plads til 34 beboere i egne små lejligheder.
I 1967 solgte Duebrødre Kloster ejendommen til Roskilde Kommune og flyttede til nye bygninger, hvoraf nogle ligger ved Folkeparken tæt på havnen. Kommunen indrettede en del af det gamle hospital til blandt andet borgmesterkontor og turistkontor. I 1983 blev Restaurant Rådhuskælderen indrettet i den tidligere portnerbolig. I dag bruges bygningen af turistkontoret og kulturcentret Byens Hus.