W międzyczasie niemowlęca kolonia znalazła się na skraju głodu. White pomógł w budowie stacji sygnałowej w South Head i był jednym z oficerów, którzy zgłosili się na ochotnika do łowienia ryb co drugą noc, aby uzupełnić racje żywnościowe. Przybycie Drugiej Floty w czerwcu 1790 roku wystawiło White’a i jego załogę na ciężką próbę. Około 500 skazańców wylądowało na lądzie umierając lub ciężko chorując. Pomimo braku leków i pomieszczeń szpitalnych White i jego asystenci przywrócili do zdrowia ponad połowę z nich. Podobny kryzys pojawił się wraz z przybyciem Trzeciej Floty między lipcem a wrześniem 1791 roku. W tym samym czasie około 600 nowo przybyłych skazańców było pod opieką lekarską i niezdolnych do pracy, a w 1792 r. zmarło przerażająca liczba 436 osób. Mimo to kontynuował swoje studia nad historią naturalną i wysłał wiele okazów i rysunków do Anglii. Gdy Thomas Watling, skazaniec i artysta, dotarł do kolonii w październiku 1792 r., został przydzielony do White’a i w ciągu następnych dwóch lat wykonał dla niego wiele rysunków. Możliwe, że White sam posiadał pewne umiejętności jako artysta. Gdy Phillip opuścił kolonię w grudniu 1792 r., kontrolę nad nią przejął major Francis Grose, który wkrótce potem otrzymał pozwolenie na przyznawanie ziemi swoim oficerom. White otrzymał 100 akrów (40 ha), które nazwał Hamond Hill Farm, później część przedmieścia Petersham. Później przyznano mu kolejne 30 akrów (12 ha) w sąsiedztwie. Dotacje te zachował do 1822 roku, kiedy to zostały one sprzedane osadnikowi Edwardowi Redmondowi. Wniosek White’a o urlop został ostatecznie rozpatrzony pozytywnie, a kiedy 17 grudnia 1794 roku odpłynął statkiem Daedalus, miał satysfakcję, że opuścił kolonię znacznie zdrowszą niż była przez pięć lat. Zgony ze wszystkich przyczyn w jego ostatnim roku wyniosły tylko 59.
White dotarł do Londynu w lipcu 1795 roku. Był niechętny do powrotu do Nowej Południowej Walii i w sierpniu 1796 roku, w obliczu alternatywy, aby to zrobić natychmiast lub rezygnacji z jego powołania, wybrał rezygnację. Rozważał wydanie drugiej książki i wysłał wstępny manuskrypt oraz wiele rysunków do A. B. Lamberta, znanego botanika, ale projekt ten nie doszedł do skutku. Wydaje się, że rękopis zaginął, a rysunki są prawdopodobnie tymi, które tworzą tzw. kolekcję Watlinga zachowaną obecnie w British Museum (Natural History).
Przez trzy lata (1796-99) White służył na różnych statkach. Od grudnia 1799 do września 1803 był chirurgiem w Sheerness Navy Yard, a od września 1803 w Chatham Yard, aż do przejścia w stan spoczynku w styczniu 1820 w wieku 63 lat. Przyznano mu półpłatną emeryturę w wysokości £91 5s. i ostatnie lata życia spędził w Brighton. Zmarł w Worthing w dniu 20 lutego 1832 roku w wieku 75 i został pochowany w St Mary’s, Broadwater, gdzie do ostatnich lat mała tabliczka zauważyć to wydarzenie.
White pozostawił majątek wyceniony na £ 12,000. Ożenił się około 1800 roku i kiedy zmarł żyło troje dzieci z tego związku: Richard Hamond, porucznik marynarki wojennej; Clara Christiana, która została drugą żoną Ralpha Bernala, M.P.; oraz Augusta Catherine Anne, która poślubiła porucznika (później generała porucznika) Henry’ego Sandhama, R.E. Czwarte dziecko, Andrew Douglass (Douglas), urodzony White’owi przez skazańca, Rachel Turner, w Sydney 23 września 1793 r., wychowywał się w Anglii jako członek gospodarstwa domowego. Wstąpił do Royal Engineers, walczył pod Waterloo, a w 1823 r. wrócił do Sydney, by połączyć się z matką, z którą rozstał się jako niemowlę i która wyszła za mąż za Thomasa Moore’a, prominentnego osadnika. Przez kilka lat mieszkał w Parramatta, ożenił się w 1835 r. i zmarł w 1837 r.
.