De steenrijke bankier Henry Hope koopt in 1769 een buitenverblijfje aan de Dreef in Haarlem. Maar daar blijft het niet bij. Hope koopt alle omringende tuinen en huizen en hij begint aan een ongekend groot project: de bouw van Paviljoen Welgelegen. In 1792 wordt de bouw afgerond. Het enorme buitenhuis bestaat uit twee vleugels: de huidige Dreefvleugel wordt gebruikt als het woonappartement van de bewoners, de huidige Houtvleugel als Schilderijengalerij en bibliotheek. Het huis is van de meest luxe snufjes voorzien, zoals marmeren trappen en twee door stoom aangedreven waterpompen.
Hope kan echter niet lang van zijn huis genieten. Met de Fransen in aantocht vlucht hij in 1794 naar Engeland. Het paleis komt in handen van zijn geadopteerde zoon John. Die verkoopt het paviljoen in 1808 voor 300.000,- gulden aan koning Lodewijk Napoleon, broer van de Franse keizer. Ook hij zou maar kort op Welgelegen wonen, aangezien hij in 1810 alweer afstand moet doen van de Nederlandse troon. Na het vertrek van de Fransen wordt Paviljoen Welgelegen in 1814 in bruikleen overgedragen aan de moeder van koning Willem I, prinses Wilhelmina van Pruisen. Maar na het overlijden van haar dochter prinses Louise in 1819 verhuist ze naar Paleis het Loo.
Welgelegen staat jarenlang leeg, totdat in 1838 een deel van de collectie van de voorloper van het Rijksmuseum in het paviljoen wordt ondergebracht. Ook het in 1864 opgerichte Koloniaal Museum, de voorloper van het Tropenmuseum, krijgt onderdak in het enorme gebouw. In 1926 verhuist het museum naar een nieuw gebouw in Amsterdam. Paviljoen Welgelegen staat weer leeg: een prachtige plek voor het provinciaal bestuur in Haarlem. Op 17 juni 1930 komt Paviljoen Welgelegen in handen van de Provinciale Staten van Noord-Holland. Het blijft tot op de dag van vandaag in gebruik als provinciehuis.