I mellemtiden var den spæde koloni nået grænsen til hungersnød. White hjalp med at opføre en signalstation ved South Head og var blandt de officerer, der meldte sig frivilligt til at fiske hver anden nat for at supplere rationeringen. Ankomsten i juni 1790 af den anden flåde satte White og hans stab på en hård prøve. Omkring 500 straffefanger blev landsat døende eller alvorligt syge. På trods af mangel på medicin og hospitalsfaciliteter plejede White og hans assistenter mere end halvdelen af dem tilbage til helbredet. En lignende krise opstod med ankomsten af den tredje flåde mellem juli og september 1791. På et tidspunkt var omkring 600 nyankomne straffefanger under medicinsk behandling og uarbejdsdygtige, og i 1792 var det forfærdelige antal på 436 døde.
Den store belastning for White var alvorlig, og i december 1792 søgte han om orlov i England. Ikke desto mindre fortsatte han sine naturhistoriske studier og sendte mange eksemplarer og tegninger til England. Da Thomas Watling, straffefange og kunstner, ankom til kolonien i oktober 1792, blev han tilknyttet White og lavede i de næste to år mange tegninger til ham. Det er muligt, at White selv havde nogle færdigheder som kunstner. Da Phillip rejste i december 1792 overgik kontrollen med kolonien til major Francis Grose, som kort efter fik tilladelse til at uddele jordtildelinger til sine officerer. White fik 100 acres (40 ha), som han kaldte Hamond Hill Farm, der senere blev en del af forstaden Petersham. Senere fik han tildelt yderligere 30 acres (12 ha), der lå ved siden af. Han beholdt disse bevillinger indtil 1822, hvor de blev solgt til en nybygger, Edward Redmond. Whites ansøgning om tilladelse blev til sidst imødekommet, og da han sejlede af sted med Daedalus den 17. december 1794, kunne han glæde sig over at forlade kolonien som et langt sundere sted, end det havde været i fem år. Dødsfald af alle årsager i hans sidste år havde i alt kun været på 59.
White nåede London i juli 1795. Han var modvillig mod at vende tilbage til New South Wales, og i august 1796, da han stod over for alternativet at gøre det straks eller at fratræde sin udnævnelse, valgte han at sige op. Han overvejede at udgive endnu en bog og sendte et groft manuskript og mange tegninger til A. B. Lambert, en kendt botaniker, men projektet blev ikke til noget. Manuskriptet synes at være gået tabt, og tegningerne er muligvis dem, der udgør den såkaldte Watling Collection, som nu opbevares i British Museum (Natural History).
I tre år (1796-99) tjente White på forskellige skibe. Han var kirurg på Sheerness Navy Yard fra december 1799 til september 1803 og på Chatham Yard fra september 1803, indtil han blev pensioneret i januar 1820 i en alder af 63 år. Han fik en halv lønpension på £91 5s. og tilbragte sine sidste år i Brighton. Han døde i Worthing den 20. februar 1832 i en alder af 75 år og blev begravet i St Mary’s, Broadwater, hvor en lille tavle indtil for nylig har noteret denne begivenhed.
White efterlod sig en ejendom vurderet til £12.000. Han havde giftet sig omkring 1800, og da han døde, levede tre børn af denne forening: Richard Hamond, en flådeløjtnant; Clara Christiana, som blev anden hustru til Ralph Bernal, M.P.; og Augusta Catherine Anne, som blev gift med løjtnant (senere generalløjtnant) Henry Sandham, R.E. Et fjerde barn, Andrew Douglass (Douglas), født af White af en straffefange, Rachel Turner, i Sydney den 23. september 1793, blev opdraget i England som medlem af husstanden. Han blev medlem af Royal Engineers, kæmpede ved Waterloo og vendte i 1823 tilbage til Sydney for at genforenes med sin mor, som han var blevet skilt fra som spædbarn, og som havde giftet sig med Thomas Moore, en fremtrædende nybygger. Han boede i nogle år i Parramatta, blev gift i 1835 og døde i 1837.