Er gehörte zur Verpflegungsmannschaft der RMS Titanic während ihrer Jungfern- und Abschlussfahrt im April 1912. Er war an Bord des Schiffes während der Überführungsfahrt von Belfast nach Southampton. Am 4. April 1912 heuerte er erneut in Southampton an. Als Chefbäcker erhielt Joughin einen Monatslohn von 12 Pfund (was inflationsbereinigt heute 1500 Pfund entspricht), und ihm unterstanden dreizehn Bäcker.
Als das Schiff am Abend des 14. April um 23:40 Uhr einen Eisberg rammte, hatte Joughin dienstfrei und lag in seiner Koje. Laut seiner Aussage spürte er den Schock des Zusammenstoßes und stand sofort auf. Von den oberen Decks kam die Nachricht, dass die Offiziere die Rettungsboote zu Wasser lassen würden, und Joughin schickte seine dreizehn Männer auf das Bootsdeck, um den Rettungsbooten Proviant zu bringen: vier Brote für jeden, etwa vierzig Pfund Brot für jeden. Joughin blieb eine Zeit lang zurück, folgte ihnen dann aber und erreichte das Bootsdeck gegen 00:30 Uhr.
Er schloss sich dem Ersten Offizier Henry Wilde beim Rettungsboot 10 an. Joughin half zusammen mit Stewards und anderen Seeleuten den Frauen und Kindern in das Rettungsboot, obwohl die Frauen an Deck nach einer Weile vom Boot wegliefen und sagten, sie seien an Bord der Titanic sicherer. Der Chefbäcker ging daraufhin auf das A-Deck und holte Frauen und Kinder gewaltsam nach oben und warf sie in das Rettungsboot.
Obwohl er als Kapitän des Rettungsbootes 10 eingeteilt war, ging er nicht an Bord; es war bereits mit zwei Matrosen und einem Steward besetzt. Nachdem das Rettungsboot 10 ausgelaufen war, ging er nach unten und „trank einen Schluck Likör“ (einen Becher, der halb voll mit Likör war, wie er weiter angab) in seinem Quartier. Dann kam er wieder nach oben, nachdem er „den alten Doktor“ getroffen hatte (möglicherweise Dr. William O’Loughlin, möglicherweise das letzte Mal, dass ihn jemand gesehen hat). Als er auf dem Bootsdeck ankam, waren alle Boote zu Wasser gelassen worden, so dass er auf die Promenade des A-Decks ging und etwa fünfzig Liegestühle über Bord warf, um sie als Schwimmhilfen zu benutzen.
Joughin ging dann in die Deckspantry auf dem A-Deck, um einen Schluck Wasser zu trinken, und während er dort war, hörte er ein lautes Krachen, „als ob ein Teil des Schiffes nachgegeben hätte“. Er verließ die Pantry und schloss sich der Menge an, die nach achtern zum Achterdeck rannte. Als er das Brunnendeck überquerte, kippte das Schiff plötzlich nach Backbord und warf alle im Brunnen in einen Haufen, nur ihn nicht. Joughin kletterte auf die Steuerbordseite des Achterdecks und hielt sich an der Sicherheitsreling fest, so dass er sich auf der Außenseite des Schiffes befand, als es kopfüber unterging. Als das Schiff schließlich sank, fuhr Joughin wie mit einem Aufzug hinunter, ohne mit dem Kopf unter das Wasser zu kommen (nach seinen Worten wurde sein Kopf zwar nass, aber nicht mehr“). Er war somit der letzte Überlebende, der die RMS Titanic verließ.
Seinen eigenen Aussagen zufolge paddelte er etwa zwei Stunden lang weiter und trat ins Wasser. Er gab auch zu, dass er die Kälte kaum spürte, was wahrscheinlich auf den Alkohol zurückzuführen war, den er getrunken hatte. (Große Mengen Alkohol verringern im Allgemeinen das Risiko einer Unterkühlung.) Als das Tageslicht anbrach, entdeckte er das umgedrehte Faltboot B, an dessen Seite der Zweite Offizier Charles Lightoller und etwa 25 Männer standen. Joughin schwamm langsam darauf zu, aber es war kein Platz für ihn. Ein Mann, der Koch Isaac Maynard, erkannte ihn jedoch und hielt seine Hand, während der Chief Baker sich an der Seite des Bootes festhielt, wobei seine Füße und Beine noch im Wasser waren. Als ein weiteres Rettungsboot auftauchte, schwamm Joughin dorthin und wurde aufgenommen. Dort blieb er, bis er an Bord der RMS Carpathia ging, die ihnen zu Hilfe gekommen war. Er wurde nur mit geschwollenen Füßen aus dem Meer gerettet.