Formó parte de la tripulación de avituallamiento del RMS Titanic durante su viaje inaugural y final en abril de 1912. Estuvo a bordo del barco durante su viaje de entrega de Belfast a Southampton. Se enroló de nuevo en Southampton el 4 de abril de 1912. En calidad de jefe de panadería, Joughin recibía un salario mensual de 12 libras esterlinas (equivalente a 1.500 libras esterlinas actuales, ajustadas por la inflación), y tenía a su cargo una plantilla de trece panaderos.
Cuando el barco chocó con un iceberg la noche del 14 de abril, a las 23:40, Joughin estaba fuera de servicio y en su litera. Según su testimonio, sintió el impacto de la colisión y se levantó inmediatamente. Desde las cubiertas superiores se comunicaba que los oficiales estaban preparando los botes salvavidas para su botadura, y Joughin envió a sus trece hombres a la cubierta de botes con provisiones para los botes salvavidas: cuatro barras de pan cada una, unas cuarenta libras de pan cada una. Joughin se quedó atrás durante un tiempo, pero luego los siguió, llegando a la cubierta de botes alrededor de las 00:30.
Se unió al oficial jefe Henry Wilde junto al bote salvavidas 10. Joughin ayudó, junto con los comisarios y otros marineros, a las damas y los niños a pasar al bote salvavidas, aunque, al cabo de un rato, las mujeres que estaban en cubierta huyeron del bote diciendo que estaban más seguras a bordo del Titanic. El jefe Baker se dirigió entonces a la cubierta A y subió por la fuerza a las mujeres y los niños, arrojándolos al bote salvavidas.
Aunque se le asignó como capitán del bote salvavidas 10, no subió a él; ya estaba siendo tripulado por dos marineros y un mayordomo. Bajó después de que el bote salvavidas 10 se fuera, y «tomó una gota de licor» (un vaso medio lleno de licor, como llegó a especificar) en sus aposentos. Luego volvió a subir después de encontrarse con «el viejo doctor» (posiblemente el Dr. William O’Loughlin, muy posiblemente la última vez que alguien lo vio). Cuando llegó a la cubierta de botes, todos los botes habían sido bajados, así que bajó al paseo de la cubierta A y tiró por la borda unas cincuenta sillas de cubierta para que pudieran ser utilizadas como dispositivos de flotación.
Joughin fue entonces a la despensa de la cubierta A para beber agua y, mientras estaba allí, escuchó un fuerte estruendo, «como si parte del barco se hubiera doblado». Salió de la despensa y se unió a la multitud que corría hacia la popa. Cuando estaba cruzando la cubierta de pozo, el barco dio repentinamente una escora a babor y, según él, arrojó a todos los que estaban en el pozo en un montón, excepto a él. Joughin subió al lado de estribor de la cubierta de popa, agarrándose a la barandilla de seguridad para estar en el exterior del barco mientras éste se hundía por la cabeza. Cuando el barco se hundió finalmente, Joughin se montó en él como si fuera un ascensor, sin meter la cabeza bajo el agua (en sus palabras, su cabeza «puede haberse mojado, pero no más»). Fue, por tanto, el último superviviente en abandonar el RMS Titanic.
Según su propio testimonio, siguió remando y pisando el agua durante unas dos horas. También admitió que apenas sentía el frío, muy probablemente gracias al alcohol que había ingerido. (Las grandes cantidades de alcohol suelen reducir el riesgo de hipotermia). Cuando se hizo de día, vio el colapsable B volcado, con el segundo oficial Charles Lightoller y unos veinticinco hombres de pie al lado del barco. Joughin nadó lentamente hacia él, pero no había espacio para él. Sin embargo, un hombre, el cocinero Isaac Maynard, le reconoció y le cogió de la mano mientras el Jefe Baker se aferraba al costado del bote, con los pies y las piernas aún en el agua. Apareció entonces otro bote salvavidas y Joughin nadó hasta él y fue introducido, donde permaneció hasta que abordó el RMS Carpathia que había acudido a su rescate. Fue rescatado del mar sólo con los pies hinchados.