Meanwhile the infant colony had reached the edge of famine. White ajudou na montagem de uma estação de sinalização em South Head e estava entre os oficiais que se voluntariaram para pescar a cada duas noites para complementar as rações. A chegada em junho de 1790 da Segunda Frota testou White e seu pessoal ao máximo. Cerca de 500 condenados foram desembarcados moribundos ou gravemente doentes. Apesar da falta de medicamentos e alojamento hospitalar, White e seus assistentes cuidaram de mais da metade deles de volta à saúde. Uma crise semelhante surgiu com a chegada da Terceira Frota, entre Julho e Setembro de 1791. Em uma ocasião, cerca de 600 recém-chegados estavam sob tratamento médico e incapazes de trabalhar e em 1792 o terrível total de 436 morreram.
A tensão em White era grave e em dezembro de 1792 ele pediu licença na Inglaterra. No entanto, ele continuou seus estudos de história natural e enviou muitos espécimes e desenhos para a Inglaterra. Quando Thomas Watling, condenado e artista, chegou à colônia em outubro de 1792 foi designado para White e nos dois anos seguintes fez muitos desenhos para ele. É possível que o próprio White tivesse alguma habilidade como artista. Quando Phillip partiu em dezembro de 1792, o controle da colônia passou para o Major Francis Grose, que pouco depois recebeu permissão para fazer concessões de terras aos seus oficiais. White recebeu 100 acres (40 ha) que ele chamou de Hamond Hill Farm, depois parte do subúrbio de Petersham. Mais tarde lhe foram concedidos mais 30 acres (12 ha) adjacentes. Ele reteve estas concessões até 1822, quando foram vendidas a um colono, Edward Redmond. O pedido de licença de White foi finalmente concedido e quando ele navegou na Daedalus em 17 de dezembro de 1794 ele teve a satisfação de deixar a colônia em um lugar muito mais saudável do que havia sido durante cinco anos. As mortes por todas as causas em seu último ano tinham totalizado apenas 59,
White chegou a Londres em julho de 1795. Ele estava relutante em retornar a Nova Gales do Sul e em agosto de 1796, diante da alternativa de fazê-lo imediatamente ou de renunciar à sua nomeação, ele optou por renunciar. Ele contemplou a publicação de um segundo livro e enviou um manuscrito rudimentar e muitos desenhos para A. B. Lambert, um notável botânico, mas o projeto não deu em nada. O manuscrito parece ter sido perdido e os desenhos são possivelmente aqueles que formam a chamada Coleção Watling agora preservada no Museu Britânico (História Natural).
Por três anos (1796-99) White serviu em vários navios. Ele foi cirurgião no Sheerness Navy Yard de dezembro de 1799 a setembro de 1803 e no Chatham Yard de setembro de 1803 até ser super-antigo em janeiro de 1820, aos 63 anos de idade. Recebeu uma pensão de meio pagamento de £91 5 e passou os seus últimos anos em Brighton. Ele morreu em Worthing em 20 de fevereiro de 1832 com 75 anos e foi enterrado em St Mary’s, Broadwater, onde até anos recentes um pequeno comprimido notou este evento.
White deixou uma propriedade avaliada em £12.000. Ele havia se casado por volta de 1800 e quando morreu três filhos desta união estavam vivendo: Richard Hamond, um tenente naval; Clara Christiana, que se tornou a segunda esposa de Ralph Bernal, M.P.; e Augusta Catherine Anne, que casou com o tenente (mais tarde tenente-general) Henry Sandham, R.E. Um quarto filho, Andrew Douglass (Douglas), nascido a White por uma condenada, Rachel Turner, em Sidney, a 23 de Setembro de 1793, foi criado na Inglaterra como membro da família. Juntou-se aos Engenheiros Reais, lutou em Waterloo, e em 1823 voltou para Sidney para se juntar à mãe da qual tinha sido separado quando criança e que tinha casado com Thomas Moore, um proeminente colonizador. Ele viveu por alguns anos em Parramatta, casou-se em 1835 e morreu em 1837.