Aközben a kisgyarmat az éhínség szélére került. White segített egy jelzőállomás felállításában South Headnél, és egyike volt azoknak a tiszteknek, akik önként vállalták, hogy minden második éjszaka halásznak, hogy kiegészítsék a fejadagokat. A második flotta 1790. júniusi érkezése a végsőkig próbára tette White-ot és személyzetét. Körülbelül 500 elítéltet hoztak partra haldokolva vagy súlyosan megbetegedve. A gyógyszerek és a kórházi elhelyezés hiánya ellenére White és segítői több mint a felüket ápolták. Hasonló válsághelyzet alakult ki a harmadik flotta 1791 júliusa és szeptembere közötti érkezésekor. Egyszerre mintegy 600 újonnan érkezett elítélt állt orvosi kezelés alatt és volt munkaképtelen, 1792-ben pedig megdöbbentő számban 436-an haltak meg.
A megterhelés White-ra súlyos volt, és 1792 decemberében szabadságot kért Angliában. Ennek ellenére folytatta természetrajzi tanulmányait, és számos mintát és rajzot küldött Angliába. Amikor Thomas Watling elítélt és művész 1792 októberében megérkezett a kolóniára, White mellé osztották be, és a következő két évben számos rajzot készített neki. Lehetséges, hogy White maga is rendelkezett némi művészi képességgel. Amikor Phillip 1792 decemberében távozott, a kolónia irányítása Francis Grose őrnagyra szállt, aki nem sokkal később engedélyt kapott arra, hogy földet adományozzon a tisztjeinek. White 100 hold (40 hektár) földet kapott, amelyet Hamond Hill Farmnak nevezett el, amely később Petersham külvárosának része lett. Később további harminc hold (12 hektár) földet kapott a szomszédságában. Ezeket az adományokat 1822-ig megtartotta, amikor is eladta őket egy telepesnek, Edward Redmondnak. White távozási kérelmének végül helyt adtak, és amikor 1794. december 17-én kihajózott a Daedalus-szal, elégedetten távozott a kolóniáról, amely sokkal egészségesebb hely volt, mint amilyen öt évig volt. Az utolsó évben az összes okból bekövetkezett halálesetek száma mindössze 59 volt.
White 1795 júliusában érte el Londont. Nem szívesen tért vissza Új-Dél-Walesbe, és 1796 augusztusában, amikor azzal az alternatívával szembesült, hogy ezt azonnal megtegye, vagy lemondjon kinevezéséről, a lemondást választotta. Egy második könyv kiadását fontolgatta, és elküldött egy vázlatos kéziratot és számos rajzot A. B. Lambertnek, egy neves botanikusnak, de a tervből nem lett semmi. Úgy tűnik, a kézirat elveszett, a rajzok pedig valószínűleg azok, amelyek az úgynevezett Watling-gyűjteményt alkotják, amelyet ma a British Museum (Természettudományi Múzeum) őriz.
Három évig (1796-99) White különböző hajókon szolgált. A Sheerness Navy Yardon volt sebész 1799 decemberétől 1803 szeptemberéig, majd a Chatham Yardon 1803 szeptemberétől 1820 januárjában, 63 éves korában bekövetkezett nyugdíjazásáig. Félfizetéses nyugdíjat kapott, 91,5 fontot, és utolsó éveit Brightonban töltötte. Worthingben halt meg 1832. február 20-án, 75 éves korában, és a Broadwater-i Szent Mária-templomban temették el, ahol az utóbbi évekig egy kis tábla jelezte ezt az eseményt.
White 12 000 font értékű vagyont hagyott hátra. 1800 körül nősült meg, és halálakor három gyermeke élt ebből a házasságból: Richard Hamond, tengerészhadnagy; Clara Christiana, aki Ralph Bernal, parlamenti képviselő második felesége lett; és Augusta Catherine Anne, aki Henry Sandham hadnagyhoz (később főhadnagyhoz) ment feleségül. 1793. szeptember 23-án Sydneyben született White negyedik gyermeke, Andrew Douglass (Douglas), akit egy elítélt, Rachel Turner nevelt Sydneyben, és Angliában nevelkedett a háztartás tagjaként. Csatlakozott a királyi mérnökökhöz, harcolt Waterloónál, majd 1823-ban visszatért Sydneybe, hogy visszatérjen édesanyjához, akitől csecsemőként elvált, és aki hozzáment Thomas Moore-hoz, egy neves telepeshez. Néhány évig Parramatta-ban élt, 1835-ben megnősült, és 1837-ben meghalt.