En attendant, la colonie naissante avait atteint le bord de la famine. White participe à l’érection d’un poste de signalisation à South Head et fait partie des officiers qui se portent volontaires pour pêcher une nuit sur deux afin de compléter les rations. L’arrivée de la deuxième flotte en juin 1790 mit White et son personnel à rude épreuve. Environ 500 bagnards furent débarqués mourants ou gravement malades. Malgré le manque de médicaments et d’hébergement hospitalier, White et ses assistants ont soigné plus de la moitié d’entre eux pour les ramener à la santé. Une crise similaire survient avec l’arrivée de la troisième flotte entre juillet et septembre 1791. À un moment donné, environ 600 bagnards nouvellement arrivés étaient sous traitement médical et incapables de travailler et en 1792, le total effroyable de 436 est mort.
La pression sur White était sévère et en décembre 1792, il a demandé un congé en Angleterre. Néanmoins, il poursuivit ses études d’histoire naturelle et envoya de nombreux spécimens et dessins en Angleterre. Lorsque Thomas Watling, bagnard et artiste, arriva dans la colonie en octobre 1792, il fut affecté à White et, au cours des deux années suivantes, il réalisa de nombreux dessins pour lui. Il est possible que White lui-même ait eu quelques talents d’artiste. Lorsque Phillip partit en décembre 1792, le contrôle de la colonie passa au Major Francis Grose, qui reçut peu après la permission de concéder des terres à ses officiers. White a reçu 100 acres (40 ha) qu’il a nommés Hamond Hill Farm, qui a ensuite fait partie de la banlieue de Petersham. Plus tard, il se voit octroyer 12 hectares supplémentaires attenants. Il a conservé ces concessions jusqu’en 1822, date à laquelle elles ont été vendues à un colon, Edward Redmond. La demande de congé de White fut finalement acceptée et lorsqu’il s’embarqua sur le Daedalus le 17 décembre 1794, il eut la satisfaction de laisser la colonie en bien meilleure santé qu’elle ne l’avait été pendant cinq ans. Les décès de toutes causes au cours de sa dernière année n’avaient été que de 59.
White atteint Londres en juillet 1795. Il était réticent à retourner en Nouvelle-Galles du Sud et en août 1796, confronté à l’alternative de le faire immédiatement ou de démissionner de sa nomination, il choisit de démissionner. Il envisage de publier un deuxième livre et envoie un manuscrit sommaire et de nombreux dessins à A. B. Lambert, un botaniste réputé, mais le projet n’aboutit pas. Le manuscrit semble avoir été perdu et les dessins sont peut-être ceux qui forment la soi-disant collection Watling maintenant conservée au British Museum (Histoire naturelle).
Pendant trois ans (1796-99), White a servi sur différents navires. Il est chirurgien au Sheerness Navy Yard de décembre 1799 à septembre 1803 et au Chatham Yard de septembre 1803 jusqu’à sa retraite en janvier 1820 à l’âge de 63 ans. Il a reçu une demi-pension de 91,5 £ et a passé ses dernières années à Brighton. Il est mort à Worthing le 20 février 1832 à l’âge de 75 ans et a été enterré à St Mary’s, Broadwater, où jusqu’à ces dernières années une petite tablette notait cet événement.
White a laissé une succession évaluée à 12 000 £. Il s’était marié vers 1800 et à sa mort, trois enfants de cette union vivaient : Richard Hamond, un lieutenant de marine ; Clara Christiana, qui devint la seconde épouse de Ralph Bernal, député ; et Augusta Catherine Anne, qui épousa le lieutenant (plus tard lieutenant-général) Henry Sandham, R.E. Un quatrième enfant, Andrew Douglass (Douglas), né de White par une condamnée, Rachel Turner, à Sydney le 23 septembre 1793, fut élevé en Angleterre comme membre du foyer. Il s’engagea dans les Royal Engineers, combattit à Waterloo et, en 1823, revint à Sydney pour rejoindre sa mère, dont il avait été séparé alors qu’il était enfant et qui avait épousé Thomas Moore, un important colon. Il vécut quelques années à Parramatta, se maria en 1835 et mourut en 1837.