一方、植民地は飢餓の淵に立たされていた。 ホワイトはサウスヘッド（South Head）の信号所建設に協力し、配給品を補うために2晩に1回釣りをすることを志願した将校の一人であった。 1790年6月、第2艦隊が到着すると、ホワイトと彼の部下たちは最大限の努力をすることになった。 約500人の囚人が瀕死の状態か重病で上陸してきたのだ。 薬や病院の設備が不足していたにもかかわらず、ホワイトと助手はその半数以上を看病し、健康を回復させた。 1791年7月から9月にかけて、第3艦隊が到着した際にも同様の危機が訪れた。 一度に約600人の新着囚人が治療を受けながら働けなくなり、1792年には436人が死亡するという憂き目にあった
ホワイトへの負担は大きく、1792年12月にイギリスでの休暇を申請した。 それでも彼は博物学の研究を続け、多くの標本や図面をイギリスに送った。 1792年10月にコロニーに到着した囚人で画家のトマス・ワトリングは、ホワイトの担当となり、その後2年間、彼のために多くのデッサンを描いた。 ホワイト自身も画家としての腕前を備えていたのかもしれない。 1792年12月にフィリップが旅立つと、植民地の支配権はフランシス・グローズ少佐に移り、その後すぐに士官への土地交付の許可が下りた。 ホワイトは100エーカー（40ha）の土地を受け取り、ハモンドヒル農場（Hamond Hill Farm）と名付け、後にピーターシャム郊外の一部となる。 その後、さらに30エーカー（12ヘクタール）の隣接地も与えられた。 彼は、1822年に入植者のエドワード・レドモンドに売却されるまで、これらの権利を保持しました。 ホワイトの休暇申請は最終的に認められ、1794年12月17日にダイダロス号で出航した時には、植民地を5年前よりもはるかに健康な場所に残すことができたのである。 ホワイトの最後の年の死因はわずか59人であった
1795年7月、ホワイトはロンドンに到着した。 1796年8月、ニューサウスウェールズに戻るか、それとも辞職するかという選択を迫られ、辞職を選択した。 彼は2冊目の本を出版しようと考え、著名な植物学者であるA. B. Lambertにラフ原稿と多くの図面を送ったが、このプロジェクトは失敗に終わった。 原稿は失われたようで、図面はおそらく、現在大英博物館（自然史部門）に保存されているいわゆるワトリング・コレクションを形成するものである。
3年間（1796-99）、ホワイトはさまざまな船で勤務した。 1799年12月から1803年9月まではシアネス海軍工廠で、1803年9月からはチャタム工廠で、1820年1月に63歳で定年退職するまで外科医として勤務した。 91 5s.の半額年金が支給され、晩年はブライトンで過ごした。 1832年2月20日に75歳でワージングで亡くなり、ブロードウォーターのセント・メリーズに埋葬されたが、近年まで小さな石版がこの出来事を記していた。
ホワイトは12,000ポンドの遺産を残した。 彼は1800年頃に結婚し、亡くなった時には3人の子供が生きていた。 海軍中尉のリチャード・ハモンド、下院議員ラルフ・バーナルの後妻となったクララ・クリスティアナ、英軍中将ヘンリー・サンドハムと結婚したオーガスタ・キャサリン・アンである。1793年9月23日にシドニーで、レイチェル・ターナーという囚人の間に生まれた第4子のアンドリュー・ダグラス（ダグラス）は、イギリスで家政婦として育てられた。 王立工兵隊に入り、ワーテルローで戦い、1823年にシドニーに戻り、幼児期に別れた母親と再会し、母親は著名な入植者であるトーマス・ムーアと結婚していた。 彼はパラマタで数年間暮らし、1835年に結婚し、1837年に死去した。