Mladá kolonie se mezitím dostala na pokraj hladomoru. White pomáhal při budování signální stanice v South Head a patřil mezi důstojníky, kteří dobrovolně lovili ryby každou druhou noc, aby doplnili příděly. Příjezd druhé flotily v červnu 1790 prověřil Whitea a jeho zaměstnance na nejvyšší možnou míru. Bylo vyloženo asi 500 trestanců, kteří zemřeli nebo byli vážně nemocní. Navzdory nedostatku léků a nemocničních zařízení White a jeho asistenti více než polovinu z nich ošetřili. Podobná krize nastala s příchodem třetí flotily mezi červencem a zářím 1791. V jednu chvíli se léčilo asi 600 nově příchozích trestanců neschopných práce a v roce 1792 jich zemřelo děsivých 436.
Nátlak na Whitea byl velký a v prosinci 1792 požádal o dovolenou v Anglii. Přesto pokračoval ve svých přírodovědných studiích a poslal do Anglie mnoho vzorků a kreseb. Když v říjnu 1792 dorazil do kolonie Thomas Watling, trestanec a výtvarník, byl přidělen k Whiteovi a v následujících dvou letech pro něj vytvořil mnoho kreseb. Je možné, že White sám měl určité umělecké schopnosti. Když Phillip v prosinci 1792 odjel, přešla kontrola nad kolonií na majora Francise Grose, který brzy poté dostal povolení udělovat pozemky svým důstojníkům. White obdržel 100 akrů (40 ha), které pojmenoval Hamond Hill Farm, později součást předměstí Petersham. Později mu bylo přiděleno dalších 30 akrů (12 ha) v sousedství. Tyto dotace si ponechal až do roku 1822, kdy je prodal osadníkovi Edwardu Redmondovi. Whiteově žádosti o dovolenou bylo nakonec vyhověno, a když 17. prosince 1794 odplul na lodi Daidalos, měl radost, že zanechává kolonii mnohem zdravější, než byla po celých pět let. Úmrtí ze všech příčin v posledním roce jeho působení bylo celkem jen 59.
White dorazil do Londýna v červenci 1795. Do Nového Jižního Walesu se vracel nerad a v srpnu 1796, když stál před alternativou, zda tak učinit okamžitě, nebo se vzdát svého jmenování, se rozhodl rezignovat. Uvažoval o vydání druhé knihy a poslal hrubý rukopis a mnoho kreseb A. B. Lambertovi, známému botanikovi, ale z projektu sešlo. Rukopis se zřejmě ztratil a kresby jsou pravděpodobně ty, které tvoří takzvanou Watlingovu sbírku, nyní uchovávanou v Britském muzeu (Natural History).
Po tři roky (1796-99) sloužil White na různých lodích. Od prosince 1799 do září 1803 byl chirurgem v Sheerness Navy Yard a od září 1803 do ledna 1820, kdy mu bylo 63 let, v Chatham Yard. Byla mu přiznána poloviční penze ve výši 91 liber 5 s. a poslední léta strávil v Brightonu. Zemřel ve Worthingu 20. února 1832 ve věku 75 let a byl pohřben v kostele svaté Marie v Broadwateru, kde na tuto událost až do posledních let upozorňovala malá tabulka.
White zanechal majetek v hodnotě 12 000 liber. Oženil se kolem roku 1800 a v době jeho smrti žily z tohoto svazku tři děti: Čtvrté dítě, Andrew Douglass (Douglas), které se Whiteovi narodilo 23. září 1793 v Sydney od odsouzené Rachel Turnerové, bylo vychováváno v Anglii jako člen domácnosti. Vstoupil ke královským ženistům, bojoval u Waterloo a v roce 1823 se vrátil do Sydney, aby se vrátil k matce, od níž byl jako kojenec odloučen a která se provdala za Thomase Moora, významného osadníka. Několik let žil v Parramattě, v roce 1835 se oženil a v roce 1837 zemřel.