Vanaf 968 hoorde het Gooi, dat destijds Nardingerland of Naerdincklant genoemd werd, bij het stift Elten, een klooster gelegen op de Elterberg bij Emmerik. Zo werd het Gooi ruim drie eeuwen vanuit Elten bestuurd. De inwoners hoorden als horigen bij de grond. In 1280 vond er een belangrijke machtswisseling plaats. Het Gooi werd verpacht aan de Hollandse graaf Floris V (1254-1296), waardoor het tot op de dag van vandaag bij de provincie Noord-Holland hoort. Floris liet waarschijnlijk hetzelfde jaar nog het Muiderslot bouwen, om zijn nieuwe gebied te verdedigen.

In de onzekere situatie rondom de machtswisseling besloten de Gooise boeren zich te verenigen, om hun rechten op het gebruik van de grond veilig te stellen. De vroegste aanwijzing voor een vergadering van de Gooiers stamt uit 1326. Dit betekende het begin van de latere Erfgooiersorganisatie.