Între timp, tânăra colonie ajunsese în pragul foametei. White a ajutat la ridicarea unei stații de semnalizare la South Head și s-a numărat printre ofițerii care s-au oferit voluntari să pescuiască o dată la două nopți pentru a suplimenta rațiile. Sosirea, în iunie 1790, a celei de-a doua flote i-a pus la grea încercare pe White și personalul său. Aproximativ 500 de condamnați au fost debarcați pe moarte sau grav bolnavi. În ciuda lipsei de medicamente și de spații de spitalizare, White și asistenții săi au îngrijit mai mult de jumătate dintre ei până la însănătoșire. O criză similară a apărut odată cu sosirea Flotei a treia, între iulie și septembrie 1791. La un moment dat, aproximativ 600 de condamnați nou sosiți se aflau sub tratament medical și erau incapabili să muncească, iar în 1792 s-a ajuns la un total înspăimântător de 436 de morți.
Solicitarea lui White a fost severă și în decembrie 1792 a solicitat un concediu în Anglia. Cu toate acestea, el și-a continuat studiile de istorie naturală și a trimis multe specimene și desene în Anglia. Când Thomas Watling, deținut și artist, a ajuns în colonie în octombrie 1792, a fost repartizat lui White și în următorii doi ani a făcut multe desene pentru el. Este posibil ca White însuși să fi avut unele abilități de artist. Când Phillip a plecat în decembrie 1792, controlul coloniei a trecut în mâinile maiorului Francis Grose, care la scurt timp după aceea a primit permisiunea de a acorda terenuri ofițerilor săi. White a primit 100 de acri (40 ha) pe care i-a numit Hamond Hill Farm, care ulterior a făcut parte din suburbia Petersham. Mai târziu, i s-a acordat încă 30 de acri (12 ha) adiacenți. A păstrat aceste concesiuni până în 1822, când au fost vândute unui colonist, Edward Redmond. Cererea de concediu a lui White a fost în cele din urmă aprobată, iar când a plecat cu Daedalus, la 17 decembrie 1794, a avut satisfacția de a lăsa colonia într-un loc mult mai sănătos decât fusese timp de cinci ani. Decesele din toate cauzele în ultimul său an totalizaseră doar 59.
White a ajuns la Londra în iulie 1795. A fost reticent să se întoarcă în New South Wales și în august 1796, confruntat cu alternativa de a face acest lucru imediat sau de a renunța la numirea sa, a ales să demisioneze. S-a gândit să publice o a doua carte și a trimis un manuscris sumar și multe desene lui A. B. Lambert, un botanist renumit, dar proiectul a rămas fără rezultat. Manuscrisul pare să se fi pierdut, iar desenele sunt probabil cele care formează așa-numita Colecție Watling, păstrată acum la British Museum (Istorie Naturală).
Pentru trei ani (1796-99) White a servit pe diferite nave. A fost chirurg la Sheerness Navy Yard din decembrie 1799 până în septembrie 1803 și la Chatham Yard din septembrie 1803 până când a fost pensionat în ianuarie 1820, la vârsta de 63 de ani. I s-a acordat o pensie cu jumătate de salariu de 91 5 lire sterline și și-a petrecut ultimii ani de viață la Brighton. A murit la Worthing la 20 februarie 1832 la vârsta de 75 de ani și a fost înmormântat la St Mary’s, Broadwater, unde până în ultimii ani o mică tăbliță menționa acest eveniment.
White a lăsat o avere evaluată la 12.000 de lire sterline. Se căsătorise în jurul anului 1800 și când a murit trăiau trei copii din această uniune: Richard Hamond, un locotenent de marină; Clara Christiana, care a devenit cea de-a doua soție a lui Ralph Bernal, deputat; și Augusta Catherine Anne, care s-a căsătorit cu locotenentul (mai târziu locotenent-general) Henry Sandham, R.E. Un al patrulea copil, Andrew Douglass (Douglas), născut de White de către o deținută, Rachel Turner, la Sydney, la 23 septembrie 1793, a fost crescut în Anglia ca membru al familiei. S-a înrolat în Royal Engineers, a luptat la Waterloo, iar în 1823 s-a întors la Sydney pentru a se reîntâlni cu mama de care fusese despărțit când era bebeluș și care se căsătorise cu Thomas Moore, un colonist important. A locuit câțiva ani la Parramatta, s-a căsătorit în 1835 și a murit în 1837.
.