Op 23 maart 1816 scheepten Van de Graaff, zijn zwangere vrouw en de kinderen zich in op de rede van Texel. Ruim vier maanden later kwam het gezin zonder ongelukken in Batavia aan. Een succes werd het verblijf aldaar niet. Het leven in Indië was erg duur. Van de aflossing van de schulden kwam niets. Bovendien hield Agatha het niet vol in de tropen. Zij keerde in 1819 met de kinderen naar Alkmaar terug. Hendrik Jan bleef alleen achter. Hij bracht het in Indië tot rechterhand van gouverneur-generaal G.A.G.P. baron van der Capellen.

Van der Capellen viel in 1826 in ongenade bij Koning Willem I. In Nederland ging het er vooral om dat Indië veel geld in het laatje bracht en daar slaagde Van der Capellen onvoldoende in. Willem I verving hem daarom in februari 1826. Van der Graaff kon ook gaan. Hij werd naar huis terug geroepen om verantwoording af te leggen. Begin november 1826 ging hij aan boord van de Java-Packet. De afloop is bekend. Het schip verging op de Zeeuwse kust. Van de Graaffs lijk werd nooit gevonden. Wel spoelde een grote partij van zijn brieven en papieren op het strand aan.