De pastorie van de hervormde kerk van Schoterland is oorspronkelijk als woonhuis gebouwd door houthandelaar Dirk Berents Drijfhout (1701-1773). Hij liet zijn vijfjarig kleinzoontje Dirk Nannes de eerste steen leggen. Op de beide kraagstukken staat de volgende  tekst: "1760 DEN 15 JULY LAG DIRK NANNES DRIJFHOUT DE EERSTE STEEN VAN DESEN HUISE".

In 1760 liet Drijfhout de woning verbouwen tot pastorie. Zelf woonde hij inmiddels in Het Groote Huys.

Omdat de toenmalige dominee zich eind negentiende eeuw beklaagde over het uitzicht (hij kon zijn kerk niet zien door de hoge haag voor het huis) , kocht de kerkvoogdij een pand aan de Heideburen.

De Westfaalse bierbottelaar Hein Hergarden kocht de voormalige pastorie en voerde er samen met zijn zoon jarenlang een drankhandel.