Parkens helt centrale placering i direkte forbindelse med Roskildes gamle bykerne giver den en særlig betydning for hele byens identitet.
Mellem fjordens naturkontakt og Roskilde Domkirke som byens historiske sværvægter er parken en vigtig del af en unik kulturhistorisk akse, som strækker sig fra fjordens natur, over Vikingeskibsmuseets moderne kulturformidling, gasværkets industrikultur til Byparkens romantiske haveanlæg og Provstevængets middelalderspor for at slutte på Domkirkepladsen.
Den grønne forbindelse er friholdt byggeri blandt andet gennem en fredning af Provstevænget som udsigtskile. På den anden side af domkirken er vi midt i byens middelalderkerne. I middelalderen gik fjorden meget længere ind, og halvvejs nede i parken kan man forestille sig den havn, som lå til grund for Roskildes placering som handelscentrum.
Roskildes store mæcen, O.H. Schmeltz, testamenterede i 1898 et stort beløb til anlæggelse af en bypark. Betingelsen var, at den skulle anvendes til ”koncerter og anden adspredelse” – ikke til sport!
Kommunen købte i 1907 marken nord for Provstevænget, Pipers Vænge. Landskabsarkitekt Aage Hansen anlagde parken som engelsk have, og den blev indviet i 1916. Pavillonen i Byparken er opført i 1923.
Der kan dokumenteres hele 24 kilder i Roskilde, hvoraf 12 er navngivne. De har alle haft stor betydning for byen, og nogle af dem anså man tilmed som hellige og helbredende. I dag er der otte navngivne kilder tilbage, og i Byparken ses og høres Skt. Hans Kilde og Maglekilden. Bækken i byparken bringer vandet frem til overfladen, til glæde for forbipasserende i alle aldre.