Huset var oprindeligt beregnet til beboelse af fattige slægtninge af købmand og rådmand Hans Rasmussen Lange og hans hustru Anna Margrethe von Essen.
I 1874 blev huset solgt til den københavnske hørkræmmer Wilhelm Christian Topp, hvis hustru stammede fra Roskilde. Topp indrettede huset som en slags legatbolig for sin hustrus søster Marie Therese Elisabeth Rasmussen. Som tak for den milde gerning opsatte hun efter sin svogers død i 1883 et skilt på huset med teksten ”Wilhelm Topps Minde 1874”.
Herefter blev huset købt af Weber fra nabogården, og i 1940 købte domkirken huset af én af efterkommerne for at forhindre moderne højt byggeri inden for kirkens nærmeste omgivelser.
Fra 1967 stod Wilhelm Topps Minde ubeboet hen i en årrække, og det var allerede stærkt forfaldent i begyndelsen af 1970’erne. Der blev derfor iværksat en omfattende renovering, som var afsluttet i efteråret 1975. Efter renoveringen er der nærmest tale om et helt nyt hus, hvor bygningens facade er en tro kopi af originalen.