Han ingick i besättningen på RMS Titanic under dess första och sista resa i april 1912. Han var ombord på fartyget under leveransresan från Belfast till Southampton. Han skrev på igen i Southampton den 4 april 1912. I egenskap av chefsbagare fick Joughin en månadslön på 12 pund (motsvarande 1 500 pund i dag, justerat för inflation) och hade en stab på tretton bagare under sig.
När fartyget träffade ett isberg på kvällen den 14 april, klockan 23.40, var Joughin ledig och låg i sin koja. Enligt hans vittnesmål kände han chocken av kollisionen och reste sig omedelbart upp. Från de övre däcken meddelades att officerarna höll på att göra livbåtarna klara för sjösättning, och Joughin skickade upp sina tretton män till båtdäcket med proviant till livbåtarna: fyra bröd per person, cirka 40 pund bröd per person. Joughin stannade kvar en tid, men följde sedan efter dem och nådde båtdäcket omkring 00:30.
Han anslöt sig till överbefälhavare Henry Wilde vid livbåt 10. Joughin hjälpte, tillsammans med stewards och andra sjömän, damerna och barnen fram till livbåten, även om kvinnorna på däck efter ett tag sprang bort från båten och sa att de var säkrare ombord på Titanic. Chief Baker gick då vidare till A-däck och tog med våld upp kvinnor och barn och kastade dem i livbåten.
Och även om han utsågs till kapten för livbåt 10 gick han inte ombord; den var redan bemannad av två matroser och en steward. Han gick ner efter att livbåt 10 hade gått och ”tog en droppe likör” (en halvfull bägare med likör, som han fortsatte att specificera) i sitt rum. Han gick sedan upp igen efter att ha träffat ”den gamle doktorn” (möjligen dr William O’Loughlin, vilket kan vara den sista gången någon någonsin såg honom). När han kom till båtdäcket hade alla båtar sänkts, så han gick ner på promenaden på A-däck och kastade ett femtiotal däckstolar överbord så att de kunde användas som flythjälpmedel.
Joughin gick sedan in i däckskammaren på A-däck för att hämta en klunk vatten, och medan han var där hörde han en hög smäll, ”som om en del av fartyget hade böjt sig”. Han lämnade skafferiet och anslöt sig till folkmassan som sprang akterut mot poopdäcket. När han korsade brunnsdäcket gav fartyget plötsligt en slagsida åt babord och, enligt honom, kastade alla i brunnen i en massa utom han själv. Joughin klättrade upp på styrbordssidan av poopdäcket och tog tag i säkerhetsrälsen så att han befann sig på utsidan av fartyget när det gick ner genom huvudet. När fartyget slutligen sjönk åkte Joughin ner som om det vore en hiss, utan att få huvudet under vattnet (med hans egna ord, hans huvud ”kan ha blivit blött, men inte mer”). Han var därmed den sista överlevande som lämnade RMS Titanic.
Enligt sitt eget vittnesmål fortsatte han att paddla och trampa vatten i ungefär två timmar. Han erkände också att han knappt kände av kylan, troligen tack vare den alkohol han hade druckit. (Stora mängder alkohol minskar i allmänhet risken för hypotermi.) När dagsljuset bröt fram såg han den omkullvälta Collapsible B, med andreofficer Charles Lightoller och omkring tjugofem män som stod på sidan av båten. Joughin simmade långsamt mot den, men det fanns ingen plats för honom. En man, kocken Isaac Maynard, kände dock igen honom och höll honom i handen medan Chief Baker höll sig fast vid sidan av båten, med fötterna och benen fortfarande i vattnet. En annan livbåt dök då upp och Joughin simmade till den och togs ombord, där han stannade tills han gick ombord på RMS Carpathia som hade kommit till deras undsättning. Han räddades ur havet med endast svullna fötter.