Under tiden hade den nya kolonin nått gränsen till hungersnöd. White hjälpte till med att uppföra en signalstation vid South Head och var bland de officerare som frivilligt erbjöd sig att fiska varannan natt för att komplettera ransonerna. När den andra flottan anlände i juni 1790 satte White och hans stab på prov till det yttersta. Omkring 500 fångar landades döende eller allvarligt sjuka. Trots brist på mediciner och sjukhusboende kunde White och hans assistenter vårda mer än hälften av dem igen. En liknande kris uppstod när den tredje flottan anlände mellan juli och september 1791. Vid en och samma tidpunkt var omkring 600 nyanlända fångar under medicinsk behandling och oförmögna att arbeta och under 1792 var den skrämmande summan 436 döda.
Den stora påfrestningen för White var allvarlig och i december 1792 ansökte han om permission i England. Trots detta fortsatte han sina naturhistoriska studier och skickade många exemplar och teckningar till England. När Thomas Watling, fånge och konstnär, anlände till kolonin i oktober 1792 tilldelades han White och gjorde under de följande två åren många teckningar åt honom. Det är möjligt att White själv hade en viss skicklighet som konstnär. När Phillip reste i december 1792 övergick kontrollen över kolonin till major Francis Grose, som kort därefter fick tillstånd att ge sina officerare marktilldelning. White fick 100 acres (40 ha) som han gav namnet Hamond Hill Farm, som senare blev en del av förorten Petersham. Senare fick han ytterligare 30 acres (12 ha) i anslutning till denna. Han behöll dessa upplåtelser fram till 1822 då de såldes till en nybyggare, Edward Redmond. Whites ansökan om tillstånd beviljades så småningom och när han seglade i Daedalus den 17 december 1794 kunde han glädja sig åt att lämna kolonin som en mycket friskare plats än den hade varit under fem år. Dödsfallen av alla orsaker under hans sista år hade sammanlagt bara varit 59.
White nådde London i juli 1795. Han var ovillig att återvända till New South Wales och i augusti 1796, ställd inför alternativet att göra det omedelbart eller att avgå från sitt uppdrag, valde han att avgå. Han övervägde att ge ut en andra bok och skickade ett grovt manuskript och många teckningar till A. B. Lambert, en känd botaniker, men projektet blev inget. Manuskriptet verkar ha gått förlorat och teckningarna är möjligen de som utgör den så kallade Watling Collection som nu förvaras i British Museum (Natural History).
I tre år (1796-99) tjänstgjorde White på olika fartyg. Han var kirurg vid Sheerness Navy Yard från december 1799 till september 1803 och vid Chatham Yard från september 1803 tills han blev övertalig i januari 1820 vid 63 års ålder. Han beviljades en halvpension på 91,5 pund och tillbringade sina sista år i Brighton. Han dog i Worthing den 20 februari 1832 i en ålder av 75 år och begravdes i St Mary’s, Broadwater, där en liten tavla fram till de senaste åren noterade denna händelse.
White lämnade efter sig ett dödsbo värderat till 12 000 pund. Han hade gift sig omkring 1800 och när han dog levde tre barn av denna förening: Richard Hamond, marinlöjtnant, Clara Christiana, som blev andra hustru till Ralph Bernal, parlamentsledamot, och Augusta Catherine Anne, som gifte sig med löjtnant (senare generallöjtnant) Henry Sandham, R.E. Ett fjärde barn, Andrew Douglass (Douglas), som föddes till White av en fånge, Rachel Turner, i Sydney den 23 september 1793, uppfostrades i England som en medlem av hushållet. Han gick med i Royal Engineers, stred vid Waterloo och återvände 1823 till Sydney för att återförenas med sin mor som han hade skilts från som spädbarn och som hade gift sig med Thomas Moore, en framstående nybyggare. Han bodde några år i Parramatta, gifte sig 1835 och dog 1837.