Il faisait partie de l’équipage d’avitaillement du RMS Titanic lors de son voyage inaugural et final en avril 1912. Il était à bord du navire lors de son voyage de livraison de Belfast à Southampton. Il s’est de nouveau engagé à Southampton le 4 avril 1912. En tant que chef boulanger, Joughin recevait un salaire mensuel de 12 £ (équivalent à 1500 £ aujourd’hui, ajusté en fonction de l’inflation), et avait sous ses ordres une équipe de treize boulangers.
Lorsque le navire a heurté un iceberg le soir du 14 avril, à 23h40, Joughin n’était pas de service et était dans sa couchette. Selon son témoignage, il a ressenti le choc de la collision et s’est immédiatement levé. On a appris des ponts supérieurs que les officiers préparaient les canots de sauvetage pour la mise à l’eau, et Joughin a envoyé ses treize hommes sur le pont des embarcations avec des provisions pour les canots de sauvetage : quatre miches de pain chacune, soit environ quarante livres de pain chacune. Joughin est resté en arrière pendant un certain temps, mais les a ensuite suivis, atteignant le pont des bateaux vers 00h30.
Il a rejoint l’officier en chef Henry Wilde près du canot de sauvetage 10. Joughin a aidé, avec les stewards et d’autres marins, les dames et les enfants à passer dans le canot de sauvetage, bien que, après un certain temps, les femmes sur le pont se sont enfuies du bateau en disant qu’elles étaient plus en sécurité à bord du Titanic. Le chef boulanger se rendit alors sur le pont A et fit remonter de force les femmes et les enfants, les jetant dans le canot de sauvetage.
Bien qu’il ait été désigné comme capitaine de l’embarcation de sauvetage 10, il n’est pas monté à bord ; celle-ci était déjà occupée par deux marins et un steward. Il est descendu après le départ du Lifeboat 10, et a « pris une goutte de liqueur » (un gobelet à moitié plein de liqueur, comme il le précise ensuite) dans ses quartiers. Il est ensuite remonté à l’étage après avoir rencontré « le vieux docteur » (peut-être le Dr William O’Loughlin, très probablement la dernière fois que quelqu’un l’a vu). Lorsqu’il est arrivé au pont des bateaux, tous les bateaux avaient été descendus, alors il est descendu dans la promenade du pont A et a jeté une cinquantaine de chaises longues par-dessus bord afin qu’elles puissent être utilisées comme dispositifs de flottaison.
Joughin est ensuite allé dans le garde-manger du pont A pour boire de l’eau et, alors qu’il était là, il a entendu un grand fracas, « comme si une partie du navire s’était déformée ». Il a quitté le garde-manger et a rejoint la foule qui courait vers l’arrière en direction de la dunette. Alors qu’il traversait le pont du puits, le navire a soudainement donné de la gîte sur bâbord et, selon lui, a jeté tout le monde dans le puits en tas, sauf lui. Joughin a grimpé sur le côté tribord de la dunette, s’accrochant à la rambarde de sécurité de sorte qu’il se trouvait à l’extérieur du navire lorsqu’il a été coulé par la tête. Lorsque le navire a finalement coulé, Joughin l’a descendu comme s’il s’agissait d’un ascenseur, sans mettre la tête sous l’eau (selon ses mots, sa tête « a peut-être été mouillée, mais pas plus »). Il fut, ainsi, le dernier survivant à quitter le RMS Titanic.
Selon son propre témoignage, il a continué à pagayer et à fouler l’eau pendant environ deux heures. Il a également admis avoir à peine ressenti le froid, très probablement grâce à l’alcool qu’il avait ingurgité. (De grandes quantités d’alcool diminuent généralement le risque d’hypothermie.) Lorsque le jour s’est levé, il a repéré le Collapsible B renversé, avec le second officier Charles Lightoller et environ vingt-cinq hommes debout sur le côté du bateau. Joughin a lentement nagé vers le bateau, mais il n’y avait pas de place pour lui. Un homme, cependant, le cuisinier Isaac Maynard, le reconnaît et lui tient la main tandis que le chef Baker se tient sur le côté du bateau, les pieds et les jambes toujours dans l’eau. Un autre canot de sauvetage est alors apparu et Joughin a nagé jusqu’à lui et a été embarqué, où il est resté jusqu’à ce qu’il monte à bord du RMS Carpathia qui était venu à leur secours. Il a été sauvé de la mer avec seulement des pieds enflés.