Mientras tanto, la joven colonia había llegado al borde de la hambruna. White ayudó en la construcción de una estación de señales en South Head y fue uno de los oficiales que se ofreció a pescar cada dos noches para complementar las raciones. La llegada en junio de 1790 de la Segunda Flota puso a prueba a White y a su personal. Unos 500 convictos fueron desembarcados moribundos o gravemente enfermos. A pesar de la falta de medicinas y de alojamiento en el hospital, White y sus ayudantes curaron a más de la mitad de ellos. Una crisis similar se produjo con la llegada de la Tercera Flota entre julio y septiembre de 1791. En un momento dado, unos 600 convictos recién llegados estaban bajo tratamiento médico y eran incapaces de trabajar, y en 1792 el espantoso total de 436 murieron.
La presión sobre White fue severa y en diciembre de 1792 solicitó un permiso en Inglaterra. Sin embargo, continuó con sus estudios de historia natural y envió muchos especímenes y dibujos a Inglaterra. Cuando Thomas Watling, convicto y artista, llegó a la colonia en octubre de 1792 fue asignado a White y en los dos años siguientes hizo muchos dibujos para él. Es posible que el propio White tuviera alguna habilidad como artista. Cuando Phillip se marchó en diciembre de 1792, el control de la colonia pasó a manos del comandante Francis Grose, que poco después recibió permiso para conceder tierras a sus oficiales. White recibió 100 acres (40 ha) que denominó Hamond Hill Farm, que posteriormente formó parte del suburbio de Petersham. Más tarde se le concedieron otros treinta acres (12 ha) contiguos. Conservó estas concesiones hasta 1822, cuando fueron vendidas a un colono, Edward Redmond. La solicitud de White fue finalmente concedida y cuando zarpó en el Daedalus el 17 de diciembre de 1794 tuvo la satisfacción de dejar la colonia en un lugar mucho más saludable de lo que había sido durante cinco años. Las muertes por todas las causas en su último año habían sumado sólo 59.
White llegó a Londres en julio de 1795. Era reacio a regresar a Nueva Gales del Sur y en agosto de 1796, ante la alternativa de hacerlo inmediatamente o de renunciar a su nombramiento, optó por dimitir. Contempló la posibilidad de publicar un segundo libro y envió un borrador del manuscrito y muchos dibujos a A. B. Lambert, un notable botánico, pero el proyecto quedó en nada. El manuscrito parece haberse perdido y los dibujos son posiblemente los que forman la llamada Colección Watling que ahora se conserva en el Museo Británico (Historia Natural).
Durante tres años (1796-99) White sirvió en varios barcos. Fue cirujano en Sheerness Navy Yard desde diciembre de 1799 hasta septiembre de 1803 y en Chatham Yard desde septiembre de 1803 hasta que se jubiló en enero de 1820 a la edad de 63 años. Se le concedió una pensión de media paga de 91,5 libras y pasó sus últimos años en Brighton. Murió en Worthing el 20 de febrero de 1832 a la edad de 75 años y fue enterrado en St. Mary’s, Broadwater, donde hasta hace pocos años una pequeña lápida señalaba este acontecimiento.
White dejó un patrimonio valorado en 12.000 libras. Se había casado hacia 1800 y cuando murió vivían tres hijos de esta unión: Richard Hamond, teniente de navío; Clara Christiana, que se convirtió en la segunda esposa de Ralph Bernal, M.P.; y Augusta Catherine Anne, que se casó con el teniente (más tarde teniente general) Henry Sandham, R.E. Un cuarto hijo, Andrew Douglass (Douglas), nacido de White por una convicta, Rachel Turner, en Sydney el 23 de septiembre de 1793, fue criado en Inglaterra como miembro de la casa. Se alistó en los Royal Engineers, luchó en Waterloo y, en 1823, regresó a Sydney para reunirse con su madre, de la que se había separado siendo un bebé y que se había casado con Thomas Moore, un prominente colono. Vivió algunos años en Parramatta, se casó en 1835 y murió en 1837.