Han var en del af proviantbesætningen på RMS Titanic under dets jomfrurejse og sidste tur i april 1912. Han var om bord på skibet under dets leveringsrejse fra Belfast til Southampton. Han påmønstrede igen i Southampton den 4. april 1912. I sin egenskab af chefbager modtog Joughin en månedsløn på 12 £ (svarende til 1.500 £ i dag, justeret for inflation) og havde en stab på tretten bagere under sig.
Da skibet ramte et isbjerg om aftenen den 14. april kl. 23.40 havde Joughin fri og lå i sin køje. Ifølge hans vidneudsagn mærkede han chokket fra kollisionen og rejste sig straks op. Der blev givet besked fra de øverste dæk om, at officererne var ved at gøre redningsbådene klar til udsætning, og Joughin sendte sine tretten mænd op på båddækket med proviant til redningsbådene: fire brød hver, ca. 40 pund brød hver. Joughin blev tilbage et stykke tid, men fulgte så efter dem og nåede op på båddækket omkring kl. 00:30.
Han sluttede sig til overstyrmand Henry Wilde ved redningsbåd 10. Joughin hjalp sammen med stewards og andre søfolk damerne og børnene igennem til redningsbåden, selv om kvinderne på dækket efter et stykke tid løb væk fra båden og sagde, at de var mere sikre om bord på Titanic. Chefsbager gik derefter videre til A-dækket og hentede med magt kvinder og børn op og smed dem i redningsbåden.
Og selv om han blev udpeget som kaptajn på redningsbåd 10, gik han ikke om bord; den var allerede bemandet med to matroser og en steward. Han gik nedenunder, efter at redningsbåd 10 var gået, og “drak en dråbe likør” (et bæger halvt fyldt med likør, som han efterfølgende præciserede) i sit kvarter. Derefter kom han ovenpå igen efter at have mødt “den gamle doktor” (muligvis dr. William O’Loughlin, muligvis den sidste gang nogen nogensinde så ham). Da han ankom til båddækket, var alle bådene blevet sænket, så han gik ned på promenaden på A-dækket og smed omkring 50 dækstole over bord, så de kunne bruges som flydeudstyr.
Joughin gik derefter ind i dækskammeret på A-dækket for at få en drink vand, og mens han var der, hørte han et højt brag, “som om en del af skibet havde bukket sig”. Han forlod pantryet og sluttede sig til den menneskemængde, der løb agterud mod poopdækket. Da han var ved at krydse brønddækket, gav skibet pludselig en slagside til bagbord og kastede ifølge ham alle i brønden i en flok undtagen ham. Joughin klatrede op på styrbord side af poopdækket og fik fat i sikkerhedsrælingen, så han befandt sig på ydersiden af skibet, da det gik ned af hovedet. Da skibet endelig sank, kørte Joughin med det ned som om det var en elevator, uden at få hovedet under vandet (med hans ord blev hans hoved “måske vådt, men ikke mere”). Han var således den sidste overlevende, der forlod RMS Titanic.
Ifølge hans eget vidneudsagn blev han ved med at padle og træde på vandet i omkring to timer. Han indrømmede også, at han næsten ikke mærkede kulden, sandsynligvis takket være den alkohol, han havde indtaget. (Store mængder alkohol mindsker generelt risikoen for hypotermi.) Da det blev lyst, fik han øje på den omvendte Collapsible B, hvor næstkommanderende Charles Lightoller og omkring 25 mænd stod på siden af båden. Joughin svømmede langsomt hen imod den, men der var ikke plads til ham. En mand, kokken Isaac Maynard, genkendte ham dog og holdt ham i hånden, mens Chief Baker holdt fast i siden af båden, med fødderne og benene stadig i vandet. En anden redningsbåd dukkede derefter op, og Joughin svømmede hen til den og blev taget i den, hvor han blev, indtil han gik om bord på RMS Carpathia, der var kommet dem til undsætning. Han blev reddet op af havet med kun hævede fødder.