Nel frattempo la neonata colonia aveva raggiunto il limite della carestia. White aiutò nella costruzione di una stazione di segnalazione a South Head e fu tra gli ufficiali che si offrirono di pescare ogni due notti per integrare le razioni. L’arrivo nel giugno 1790 della Seconda Flotta mise a dura prova White e il suo staff. Circa 500 detenuti furono sbarcati morenti o gravemente malati. Nonostante la mancanza di medicine e di strutture ospedaliere, White e i suoi assistenti ne curarono più della metà. Una crisi simile sorse con l’arrivo della Terza Flotta tra luglio e settembre 1791. In un dato momento circa 600 detenuti appena arrivati erano sotto trattamento medico e incapaci di lavorare e nel 1792 il totale spaventoso di 436 morirono.
La tensione su White era grave e nel dicembre 1792 chiese un congedo in Inghilterra. Ciononostante continuò i suoi studi di storia naturale e inviò molti esemplari e disegni in Inghilterra. Quando Thomas Watling, detenuto e artista, raggiunse la colonia nell’ottobre 1792 fu assegnato a White e nei due anni successivi fece molti disegni per lui. È possibile che White stesso avesse qualche abilità come artista. Quando Phillip partì nel dicembre 1792 il controllo della colonia passò al maggiore Francis Grose, che poco dopo ricevette il permesso di concedere terre ai suoi ufficiali. White ricevette 100 acri (40 ettari) che chiamò Hamond Hill Farm, in seguito parte del sobborgo di Petersham. Più tardi gli furono concessi altri trenta acri (12 ettari) adiacenti. Mantenne queste concessioni fino al 1822, quando furono vendute ad un colono, Edward Redmond. La richiesta di licenza di White fu infine concessa e quando salpò con la Daedalus il 17 dicembre 1794 ebbe la soddisfazione di lasciare la colonia un posto molto più sano di quanto non fosse stato per cinque anni. I decessi per tutte le cause nel suo ultimo anno avevano totalizzato solo 59.
White raggiunse Londra nel luglio 1795. Era riluttante a tornare nel Nuovo Galles del Sud e nell’agosto 1796, di fronte all’alternativa di farlo immediatamente o di dimettersi dal suo incarico, scelse di dimettersi. Pensò di pubblicare un secondo libro e inviò un manoscritto grezzo e molti disegni a A. B. Lambert, un noto botanico, ma il progetto non andò in porto. Il manoscritto sembra essere stato perso e i disegni sono probabilmente quelli che formano la cosiddetta Watling Collection ora conservata al British Museum (Storia Naturale).
Per tre anni (1796-99) White prestò servizio su varie navi. Fu chirurgo a Sheerness Navy Yard dal dicembre 1799 al settembre 1803 e a Chatham Yard dal settembre 1803 fino a quando fu messo a riposo nel gennaio 1820 all’età di 63 anni. Gli fu concessa una pensione a metà stipendio di 91 5s. sterline e trascorse i suoi ultimi anni a Brighton. Morì a Worthing il 20 febbraio 1832 all’età di 75 anni e fu sepolto a St Mary’s, Broadwater, dove fino ad anni recenti una piccola lapide annotava questo evento.
White lasciò un patrimonio valutato in 12.000 sterline. Si era sposato verso il 1800 e quando morì tre figli di questa unione erano in vita: Richard Hamond, un tenente di marina; Clara Christiana, che divenne la seconda moglie di Ralph Bernal, M.P.; e Augusta Catherine Anne, che sposò il tenente (poi tenente generale) Henry Sandham, R.E. Un quarto figlio, Andrew Douglass (Douglas), nato a White da una detenuta, Rachel Turner, a Sydney il 23 settembre 1793 fu cresciuto in Inghilterra come membro della famiglia. Si unì al Royal Engineers, combatté a Waterloo e nel 1823 tornò a Sydney per ricongiungersi alla madre da cui era stato separato da bambino e che aveva sposato Thomas Moore, un importante colono. Visse per alcuni anni a Parramatta, si sposò nel 1835 e morì nel 1837.