Ele fez parte da tripulação de abastecimento do RMS Titanic durante sua primeira e última viagem, em abril de 1912. Ele estava a bordo do navio durante sua viagem de entrega de Belfast a Southampton. Ele assinou novamente em Southampton, em 4 de abril de 1912. Na capacidade do Chefe Baker, Joughin recebeu um salário mensal de £12 (equivalente a £1500 hoje, ajustado à inflação), e tinha uma equipe de treze padeiros sob seu comando.
Quando o navio bateu num iceberg na noite de 14 de abril, às 23:40, Joughin estava fora de serviço e em seu beliche. De acordo com seu testemunho, ele sentiu o choque da colisão e imediatamente se levantou. Dos conveses superiores, passava-se a notícia de que os oficiais estavam a preparar os barcos salva-vidas para o lançamento, e Joughin enviou os seus treze homens para o convés do barco com provisões para os barcos salva-vidas: quatro pães cada um, cerca de quarenta quilos de pão cada um. Joughin ficou para trás por um tempo, mas depois os seguiu, chegando ao convés do barco por volta de 00:30.
Ele se juntou ao oficial chefe Henry Wilde pelo bote salva-vidas 10. Joughin ajudou, com mordomos e outros marinheiros, as senhoras e crianças até o barco salva-vidas, embora, depois de um tempo, as mulheres no convés fugiram do barco dizendo que estavam mais seguras a bordo do Titanic. O Chefe Baker foi então para o convés A e criou à força mulheres e crianças, atirando-as para o barco salva-vidas.
>
Apesar de ter sido designado como capitão do Lifeboat 10, ele não embarcou; já estava sendo tripulado por dois marinheiros e um comissário de bordo. Ele foi abaixo depois do Lifeboat 10 ter ido, e “tinha uma gota de licor” (um copo meio cheio de licor, como ele passou a especificar) em seus aposentos. Ele então subiu novamente após encontrar “o velho médico” (possivelmente o Dr. William O’Loughlin, possivelmente a última vez que alguém o viu). Quando ele chegou ao convés do barco, todos os barcos tinham sido baixados, então ele desceu ao passeio do convés A e jogou cerca de cinqüenta cadeiras de convés ao mar para que pudessem ser usadas como dispositivos de flutuação.
Joughin então foi até a despensa do convés do convés A para beber água e, enquanto lá, ele ouviu um estrondo alto, “como se parte do navio tivesse se dobrado”. Ele deixou a despensa e se juntou à multidão correndo para a popa em direção ao convés do cocô. Ao cruzar o convés do poço, o navio de repente deu uma lista ao porto e, segundo ele, atirou todos para o poço num monte, exceto ele. Joughin subiu para o lado estibordo do convés do cocó, segurando a grade de segurança para que ele estivesse no lado de fora do navio enquanto ele descia pela cabeça. Quando o navio finalmente afundou, Joughin desceu como se fosse um elevador, não ficando com a cabeça embaixo d’água (em suas palavras, sua cabeça “pode ter sido molhada, mas não mais”). Ele foi, assim, o último sobrevivente a deixar o RMS Titanic.
De acordo com seu próprio testemunho, ele continuou remando e pisando água por cerca de duas horas. Ele também admitiu que mal sentiu o frio, muito provavelmente graças ao álcool que ingeriu. (Grandes quantidades de álcool geralmente diminuem o risco de hipotermia.) Quando a luz do dia se partiu, ele avistou o Collapsible B virado, com o Segundo Oficial Charles Lightoller e cerca de vinte e cinco homens de pé na lateral do barco. Joughin nadou lentamente em direção a ele, mas não havia espaço para ele. Um homem, porém, cozinheiro Isaac Maynard, reconheceu-o e segurou sua mão como o Chefe Baker segurado na lateral do barco, com seus pés e pernas ainda na água. Apareceu então outro bote salva-vidas e Joughin nadou até ele e foi levado para dentro, onde permaneceu até entrar na Carpathia RMS que tinha vindo em seu socorro. Ele foi resgatado do mar apenas com os pés inchados.