Välillä pieni siirtomaa oli saavuttanut nälänhädän rajan. White auttoi signaaliaseman pystyttämisessä South Headiin ja kuului niihin upseereihin, jotka vapaaehtoisesti kalastivat joka toinen yö täydentääkseen annoksia. Toisen laivaston saapuminen kesäkuussa 1790 koetteli Whitea ja hänen henkilökuntaansa äärimmilleen. Noin 500 vankia nousi maihin kuolemaisillaan tai vakavasti sairaina. Lääkkeiden ja sairaalarakennusten puutteesta huolimatta White ja hänen avustajansa hoitivat yli puolet heistä takaisin terveiksi. Kolmannen laivaston saapuessa heinäkuun ja syyskuun 1791 välisenä aikana syntyi samanlainen kriisi. Kerrallaan noin 600 vastasaapunutta vankia oli sairaanhoidossa ja työkyvyttömänä, ja vuonna 1792 kuoli järkyttävä määrä, 436.
Whiten rasitus oli vakava, ja joulukuussa 1792 hän anoi virkavapaata Englannista. Siitä huolimatta hän jatkoi luonnontieteellisiä tutkimuksiaan ja lähetti Englantiin useita näytteitä ja piirroksia. Kun Thomas Watling, vanki ja taiteilija, saapui siirtokuntaan lokakuussa 1792, hänet määrättiin Whiten luokse, ja kahden seuraavan vuoden aikana hän teki tälle monia piirustuksia. On mahdollista, että White oli itsekin jonkin verran taitava taiteilija. Kun Phillip lähti joulukuussa 1792, siirtokunnan johto siirtyi majuri Francis Groselle, joka sai pian sen jälkeen luvan myöntää maata upseereilleen. White sai 100 eekkeriä (40 hehtaaria), jonka hän nimesi Hamond Hill Farmiksi, joka sittemmin oli osa Petershamin esikaupunkia. Myöhemmin hänelle myönnettiin vielä kolmekymmentä eekkeriä (12 ha) viereistä maata. Hän säilytti nämä alueet vuoteen 1822 asti, jolloin ne myytiin uudisasukkaalle Edward Redmondille. Whiten lupahakemus hyväksyttiin lopulta, ja kun hän purjehti Daedaluksella 17. joulukuuta 1794, hän saattoi jättää siirtokunnan paljon terveempänä kuin se oli ollut viiden vuoden ajan. Kaikkiin syihin kuolleita oli hänen viimeisenä vuotenaan ollut vain 59.
White saapui Lontooseen heinäkuussa 1795. Hän ei halunnut palata Uuteen Etelä-Walesiin, ja elokuussa 1796 hän valitsi vaihtoehdon tehdä se välittömästi tai luopua nimityksestään. Hän harkitsi toisen kirjan julkaisemista ja lähetti karkean käsikirjoituksen ja useita piirroksia A. B. Lambertille, tunnetulle kasvitieteilijälle, mutta hankkeesta ei tullut mitään. Käsikirjoitus näyttää kadonneen, ja piirustukset ovat mahdollisesti ne, jotka muodostavat niin sanotun Watling-kokoelman, jota säilytetään nykyään British Museumissa (Natural History).
Whiten palveluksessa oli kolme vuotta (1796-99) eri laivoilla. Hän oli kirurgina Sheernessin laivaston telakalla joulukuusta 1799 syyskuuhun 1803 ja Chathamin telakalla syyskuusta 1803 siihen asti, kunnes hän jäi eläkkeelle tammikuussa 1820 63-vuotiaana. Hän sai 91,5 punnan puolikkaan eläkkeen ja vietti viimeiset vuotensa Brightonissa. Hän kuoli Worthingissa 20. helmikuuta 1832 75-vuotiaana, ja hänet haudattiin St Mary’s, Broadwateriin, jossa viime vuosiin asti pieni taulu kertoi tästä tapahtumasta.
White jätti perinnöksi 12 000 punnan arvoisen omaisuuden. Hän oli mennyt naimisiin noin vuonna 1800, ja kuollessaan tästä liitosta oli elossa kolme lasta: Richard Hamond, merivoimien luutnantti; Clara Christiana, josta tuli kansanedustaja Ralph Bernalin toinen vaimo; ja Augusta Catherine Anne, joka meni naimisiin luutnantti (myöhemmin kenraaliluutnantti) Henry Sandhamin kanssa. Neljäs lapsi, Andrew Douglass (Douglas), joka syntyi Whiten vankilasta, Rachel Turnerista, Sydneyssä 23.9.1793, varttui kotitalouden jäsenenä Englannissa. Hän liittyi kuninkaallisiin pioneereihin, taisteli Waterloossa ja palasi vuonna 1823 Sydneyhyn palatakseen äitinsä luo, josta hän oli eronnut lapsena ja joka oli mennyt naimisiin tunnetun uudisasukkaan Thomas Mooren kanssa. Hän asui muutaman vuoden Parramatta’ssa, meni naimisiin vuonna 1835 ja kuoli vuonna 1837.
Hän kuoli vuonna 1837.