Hij maakte deel uit van de bemanningsleden van de RMS Titanic tijdens haar eerste en laatste reis in april 1912. Hij was aan boord van het schip tijdens de leveringstocht van Belfast naar Southampton. Op 4 april 1912 tekende hij weer aan in Southampton. In de hoedanigheid van chef-bakker ontving Joughin een maandsalaris van £12 (wat tegenwoordig overeenkomt met £1500, gecorrigeerd voor inflatie), en had hij een staf van dertien bakkers onder zich.
Toen het schip op de avond van 14 april om 23:40 een ijsberg raakte, was Joughin vrij van dienst en in zijn stapelbed. Volgens zijn getuigenis voelde hij de schok van de aanvaring en stond onmiddellijk op. Vanaf het bovendek werd doorgegeven dat de officieren de reddingsboten klaarmaakten voor tewaterlating, en Joughin stuurde zijn dertien man naar het sloependek met proviand voor de reddingsboten: vier broden per persoon, ongeveer veertig pond brood per stuk. Joughin bleef een tijdje achter, maar volgde hen toen en bereikte het sloependek rond 00:30.
Hij voegde zich bij Chief Officer Henry Wilde bij reddingsboot 10. Joughin hielp, samen met stewards en andere zeelieden, de dames en kinderen naar de reddingsboot, hoewel de vrouwen op het dek na een tijdje wegliepen van de boot en zeiden dat ze veiliger waren aan boord van de Titanic. De Chief Baker ging toen naar het A-dek en haalde met geweld de vrouwen en kinderen naar boven en gooide ze in de reddingsboot.
Hoewel hij was aangewezen als kapitein van reddingsboot 10, ging hij niet aan boord; deze werd al bemand door twee matrozen en een steward. Hij ging naar beneden nadat reddingsboot 10 was vertrokken, en “dronk een druppel likeur” (een beker halfvol met likeur, zoals hij verder zei) in zijn kamer. Daarna kwam hij weer boven na een ontmoeting met “de oude dokter” (mogelijk Dr. William O’Loughlin, mogelijk de laatste keer dat iemand hem ooit zag). Toen hij op het bootdek aankwam, waren alle boten neergelaten, dus ging hij naar beneden naar de promenade op het A-dek en gooide een vijftigtal dekstoelen overboord zodat ze als drijfmiddelen konden worden gebruikt.
Joughin ging vervolgens naar de dek pantry op het A-dek om wat water te drinken en terwijl hij daar was, hoorde hij een luide klap, “alsof een deel van het schip was geknikt”. Hij verliet de voorraadkamer en voegde zich bij de menigte die naar achteren liep in de richting van het achterdek. Terwijl hij het putdek overstak, maakte het schip plotseling een slagzij naar bakboord en gooide, volgens hem, iedereen in de put in een bos, behalve hij. Joughin klom naar de stuurboordzijde van het achterdek en greep zich vast aan de veiligheidsreling, zodat hij zich aan de buitenkant van het schip bevond toen het bij de kop naar beneden ging. Toen het schip uiteindelijk zonk, reed Joughin naar beneden alsof het een lift was, zonder zijn hoofd onder water te steken (in zijn woorden, zijn hoofd “is misschien nat geworden, maar meer niet”). Hij was dus de laatste overlevende die de RMS Titanic verliet.
Volgens zijn eigen getuigenis bleef hij zo’n twee uur lang peddelen en watertrappelen. Hij gaf ook toe dat hij de kou nauwelijks voelde, waarschijnlijk dankzij de alcohol die hij had gedronken. (Grote hoeveelheden alcohol verminderen over het algemeen het risico op onderkoeling.) Toen het daglicht aanbrak, zag hij de gekantelde Inklapbare B, met tweede officier Charles Lightoller en ongeveer vijfentwintig mannen aan de zijkant van de boot. Joughin zwom er langzaam naar toe, maar er was geen plaats voor hem. Een man echter, kok Isaac Maynard, herkende hem en hield zijn hand vast terwijl de Chief Baker zich vasthield aan de zijkant van de boot, met zijn voeten en benen nog in het water. Een andere reddingsboot dook op en Joughin zwom erheen en werd opgenomen, waar hij bleef tot hij aan boord ging van de RMS Carpathia die hen te hulp was gekomen. Hij werd uit zee gered met alleen gezwollen voeten.