Tussen had de jonge kolonie de rand van de hongersnood bereikt. White hielp bij de oprichting van een seinpost bij South Head en behoorde tot de officieren die zich vrijwillig aanmeldden om elke tweede nacht te gaan vissen om de rantsoenen aan te vullen. De aankomst in juni 1790 van de Tweede Vloot stelde White en zijn staf tot het uiterste op de proef. Ongeveer 500 veroordeelden werden stervend of ernstig ziek aan land gebracht. Ondanks gebrek aan medicijnen en ziekenhuisaccommodatie zorgden White en zijn assistenten ervoor dat meer dan de helft van hen weer gezond werd. Een soortgelijke crisis ontstond bij de aankomst van de Derde Vloot tussen juli en september 1791. Op een bepaald moment waren ongeveer 600 nieuw aangekomen veroordeelden onder medische behandeling en niet in staat om te werken en in 1792 stierf het ontstellende totaal van 436.
De druk op White was zwaar en in december 1792 vroeg hij verlof aan in Engeland. Niettemin zette hij zijn natuurhistorische studies voort en stuurde vele specimens en tekeningen naar Engeland. Toen Thomas Watling, veroordeelde en kunstenaar, in oktober 1792 de kolonie bereikte, werd hij aan White toegewezen en maakte in de volgende twee jaar vele tekeningen voor hem. Het is mogelijk dat White zelf enige vaardigheid als kunstenaar bezat. Toen Phillip in december 1792 vertrok, ging de controle over de kolonie over op majoor Francis Grose, die spoedig daarna toestemming kreeg om land aan zijn officieren toe te kennen. White kreeg 100 acres (40 ha) die hij Hamond Hill Farm noemde, later deel van de buitenwijk Petersham. Later werd hem nog eens 30 acres (12 ha) aangrenzend toegekend. Hij behield deze subsidies tot 1822, toen ze werden verkocht aan een kolonist, Edward Redmond. White’s verzoek om verlof werd uiteindelijk ingewilligd en toen hij op 17 december 1794 met de Daedalus vertrok, had hij het genoegen de kolonie veel gezonder achter te laten dan zij vijf jaar lang was geweest. Het aantal sterfgevallen door alle oorzaken in zijn laatste jaar bedroeg slechts 59.
White bereikte Londen in juli 1795. Hij zag er tegenop om naar New South Wales terug te keren en in augustus 1796, toen hij voor het alternatief stond om dat onmiddellijk te doen of zijn benoeming op te geven, koos hij ervoor om ontslag te nemen. Hij overwoog een tweede boek uit te geven en stuurde een ruw manuscript en veel tekeningen naar A.B. Lambert, een bekend botanicus, maar het project liep op niets uit. Het manuscript schijnt verloren te zijn gegaan en de tekeningen zijn mogelijk de tekeningen die de zogenaamde Watling Collection vormen, nu bewaard in het British Museum (Natural History).
Ter tijd (1796-99) diende White op verschillende schepen. Hij was chirurg op Sheerness Navy Yard van december 1799 tot september 1803 en op Chatham Yard van september 1803 tot hij in januari 1820 op 63-jarige leeftijd met pensioen ging. Hij kreeg een pensioen van 91,5 pond en bracht zijn laatste jaren door in Brighton. Hij stierf in Worthing op 20 februari 1832 op de leeftijd van 75 jaar en werd begraven in St Mary’s, Broadwater, waar tot voor kort een klein tablet deze gebeurtenis vermeldde.
White liet een nalatenschap na ter waarde van 12.000 pond. Hij was rond 1800 getrouwd en toen hij stierf leefden er nog drie kinderen van deze verbintenis: Richard Hamond, een luitenant ter zee; Clara Christiana, die de tweede vrouw werd van Ralph Bernal, M.P.; en Augusta Catherine Anne, die trouwde met luitenant (later luitenant-generaal) Henry Sandham, R.E. Een vierde kind, Andrew Douglass (Douglas), geboren uit White door een veroordeelde, Rachel Turner, in Sydney op 23 september 1793, werd opgevoed in Engeland als lid van het huishouden. Hij ging bij de Royal Engineers, vocht in Waterloo en keerde in 1823 naar Sydney terug om zijn moeder terug te zien van wie hij als kind was gescheiden en die getrouwd was met Thomas Moore, een vooraanstaand kolonist. Hij woonde enkele jaren in Parramatta, trouwde in 1835 en stierf in 1837.