In der Zwischenzeit war die junge Kolonie an den Rand einer Hungersnot geraten. White half bei der Errichtung einer Signalstation am South Head und gehörte zu den Offizieren, die sich freiwillig meldeten, um jede zweite Nacht zu fischen, um die Rationen aufzustocken. Die Ankunft der Zweiten Flotte im Juni 1790 stellte White und seine Mitarbeiter auf eine harte Probe. Etwa 500 Sträflinge wurden sterbend oder schwer krank angelandet. Trotz des Mangels an Medikamenten und Krankenhausunterkünften konnten White und seine Assistenten mehr als die Hälfte von ihnen wieder gesundpflegen. Eine ähnliche Krise trat mit der Ankunft der Dritten Flotte zwischen Juli und September 1791 ein. Zu diesem Zeitpunkt befanden sich etwa 600 neu angekommene Sträflinge in medizinischer Behandlung und waren arbeitsunfähig, und im Jahr 1792 starb die erschreckende Zahl von 436 Sträflingen.
Die Belastung für White war groß, und im Dezember 1792 beantragte er Urlaub in England. Dennoch setzte er seine naturkundlichen Studien fort und schickte viele Exemplare und Zeichnungen nach England. Als Thomas Watling, Sträfling und Künstler, im Oktober 1792 die Kolonie erreichte, wurde er White zugeteilt und fertigte in den nächsten zwei Jahren viele Zeichnungen für ihn an. Es ist möglich, dass White selbst einige künstlerische Fähigkeiten besaß. Als Phillip im Dezember 1792 abreiste, ging die Kontrolle über die Kolonie auf Major Francis Grose über, der bald darauf die Erlaubnis erhielt, seinen Offizieren Land zuzuteilen. White erhielt 100 Acres (40 ha), die er Hamond Hill Farm nannte, die später Teil des Vororts Petersham wurde. Später wurden ihm weitere dreißig Morgen (12 ha) in der Nähe zugewiesen. Er behielt diese Bewilligungen bis 1822, als sie an einen Siedler, Edward Redmond, verkauft wurden. Whites Antrag auf Urlaub wurde schließlich bewilligt, und als er am 17. Dezember 1794 mit der Daedalus in See stach, konnte er sich glücklich schätzen, die Kolonie in einem weitaus gesünderen Zustand zu verlassen, als sie es fünf Jahre lang gewesen war. In seinem letzten Jahr hatte die Zahl der Todesfälle insgesamt nur 59 betragen.
White erreichte London im Juli 1795. Es widerstrebte ihm, nach Neusüdwales zurückzukehren, und im August 1796, als er vor der Alternative stand, dies sofort zu tun oder von seinem Amt zurückzutreten, entschied er sich für den Rücktritt. Er erwog die Veröffentlichung eines zweiten Buches und schickte ein grobes Manuskript und zahlreiche Zeichnungen an A. B. Lambert, einen bekannten Botaniker, aber das Projekt kam nicht zustande. Das Manuskript scheint verloren gegangen zu sein, und die Zeichnungen bilden möglicherweise die so genannte Watling Collection, die heute im British Museum (Natural History) aufbewahrt wird.
Drei Jahre lang (1796-99) diente White auf verschiedenen Schiffen. Von Dezember 1799 bis September 1803 war er Chirurg in der Marinewerft Sheerness und von September 1803 bis zu seiner Pensionierung im Januar 1820 im Alter von 63 Jahren in der Chatham-Werft. Er erhielt eine Halbpensionsrente von 91,5 Pfund und verbrachte seine letzten Jahre in Brighton. Er starb am 20. Februar 1832 im Alter von 75 Jahren in Worthing und wurde in St. Mary’s, Broadwater, beigesetzt, wo bis vor wenigen Jahren eine kleine Tafel auf dieses Ereignis hinwies.
White hinterließ ein Vermögen im Wert von 12.000 £. Er hatte um 1800 geheiratet, und als er starb, lebten noch drei Kinder aus dieser Verbindung: Richard Hamond, ein Marineleutnant, Clara Christiana, die die zweite Frau von Ralph Bernal, M.P., wurde, und Augusta Catherine Anne, die den Leutnant (später Generalleutnant) Henry Sandham, R.E., heiratete. Ein viertes Kind, Andrew Douglass (Douglas), das White am 23. September 1793 in Sydney von der Sträflingsfrau Rachel Turner geboren hatte, wurde in England als Mitglied des Haushalts erzogen. Er trat den Royal Engineers bei, kämpfte in Waterloo und kehrte 1823 nach Sydney zurück, um zu seiner Mutter zurückzukehren, von der er als Säugling getrennt worden war und die Thomas Moore, einen prominenten Siedler, geheiratet hatte. Er lebte einige Jahre in Parramatta, heiratete 1835 und starb 1837.