De stedelijke collectie van Haarlem was aanvankelijk als Stedelijk Museum van Schilderijen en Oudheden gevestigd in het stadhuis. Toen de collectie vanaf 1875 flink uitbreidde, was een grotere behuizing nodig. Het museum verhuisde in 1913 naar het voormalige zeventiende-eeuwse Oudemannenhuis aan het Groot Heiligland en werd genoemd naar Haarlems beroemdste kunstenaar: Frans Hals. Daartoe werd het gebouw flink verbouwd en uitgebreid, waarna het op 14 mei feestelijk geopend kon worden. Groepsportretten van de regenten en regentessen van het Oudemannenhuis zijn nog altijd in het museum te bewonderen. In later jaren werden ook de gebouwen van de Vishal (deze is later verzelfstandigd), Vleeshal en Verweyhal aan het museum toegevoegd, waardoor nu op verschillende locaties in de stad kunst getoond wordt. Het Oudemannenhuis staat tegenwoordig bekend onder de naam ‘Hof’, de expositieruimtes in de later toegevoegde hallen als ‘Hal’.