In 1819 koopt een aantal Heerenveense notabelen de “huysstede” van Jacob Klazes Hoogeveen, veenbaas bij de Schoterandse Veencompagnie.

Het pand aan de Herenwal nummer 4 wordt afgebroken en er komt in opdracht van de notabelen  een herenhuis in neoclassicistische stijl voor in de plaats. Het huis biedt 30 jaar lang onderdak aan sociëteit De Eensgezindheid. Anthony Winkler Prins (samensteller van de naar hem genoemde encyclopedie) is geruime tijd een prominent lid geweest. Politieke onenigheid leidde ertoe dat de herenclub in 1846 uit elkaar spatte.

In 1855 is de Koninklijke IJsvereniging  Thialf hier opgericht. In 1934 betrekt de Raad van de Arbeid  het pand en in 1941wordt het eigendom van meelhandel Yme Kuiper.

Begin 21e eeuw is in opdracht van Kuiper Verzekeringen het pand grondig gerestaureerd en in oude glorie hersteld.