In Los Angeles in 1948 huurt Julius “Jake” Berman privé-detective J.J. “Jake” Gittes in om zijn vrouw Kitty te betrappen op heterdaad bij het plegen van overspel. Tijdens de operatie vermoordt Berman zijn liefdesrivaal, Mark Bodine, die toevallig zijn zakenpartner is in een vastgoedontwikkelingsbedrijf. Gittes, die dit niet wist, wordt plotseling ondervraagd over zijn rol in de mogelijke misdaad, die zich concentreert rond een opname van de illegale liefdesontmoeting, de confrontatie en de moord op Bodine. Het roept de vraag op of Berman wist dat hij zijn partner vermoordde om de controle over het partnerschap te verkrijgen, waardoor het moord werd, of dat het een daad van jaloezie was, die als “tijdelijke ontoerekeningsvatbaarheid” kan gelden en als verdediging tegen een aanklacht van moord kan worden toegelaten.
Gittes moet LAPD kapitein Escobar ervan overtuigen dat hij niet als medeplichtige moet worden aangeklaagd. Vreemd genoeg lijkt Berman niet bezorgd over de mogelijkheid dat hij van moord wordt beschuldigd. Gittes heeft de opname, die Bermans advocaat Cotton Weinberger en zijn gangstervriend Mickey Nice allebei willen hebben, opgeborgen in een kluis in zijn kantoor in L.A., dat door aardbevingen wordt geteisterd. Bermans woningbouwproject in de Valley heeft ook te maken met seismische activiteiten. Gittes wordt bijna gedood door een gasexplosie en wordt wakker met Berman en zijn vrouw Kitty over hem heen.
Gittes heeft een confrontatie, en later een sexuele ontmoeting, met Lilian Bodine, de boze weduwe van de dode man. Hij krijgt bewijs dat Earl Rawley, een rijke en meedogenloze olieman, mogelijk onder het project van Bodine en Berman aan het boren is, hoewel Rawley dit heeft ontkend. Dit leidt tot de noodzaak te bepalen wie de mineraalrechten op het land bezit. Gittes ontdekt dat de rechten in handen zijn van ene Katherine Mulwray, de dochter van Evelyn Mulwray, zijn liefdesleven van elf jaar geleden. Hij ontdekt ook dat de overdrachtsakten zo zijn opgesteld dat Katherine Mulwray’s eerdere eigendom en aanspraken op de minerale rechten verborgen bleven. Bovendien ontdekt hij dat Noah Cross al was overleden en dat Katherine aan zijn greep was ontsnapt.
Gittes agenten hebben Berman gezien in het gezelschap van een blonde vrouw, samen met Mickey, en een lijfwacht. Met wat speurwerk stelt Gittes vast dat de vrouw oncoloog is en Berman behandelt voor kanker ergens onder de taille. Gittes confronteert Berman met deze kennis en krijgt een volledige bekentenis. Onderweg ontdekt Gittes dat Berman het niet zal overleven en dat de hele opzet was om ervoor te zorgen dat Kitty werd beschermd zodra hij zou sterven.
Om Kitty zover te krijgen dat ze met hem praat, moet Gittes bewijzen dat Berman het plan had om zijn partner te vermoorden. Als dat gelukt is, stemt Kitty in met een ontmoeting met Gittes om hem te vertellen wat ze over Berman weet. Tijdens de bespreking van Bermans mogelijke beweegredenen, minerale rechten en de mogelijke verblijfplaats van Katherine, wordt onthuld dat Kitty en Katherine dezelfde persoon zijn. Kitty had nooit vermoed dat haar man stervende was.
Om voorbedachte rade, passie en misschien zelfs connecties met een al lang vermiste vrouw te bewijzen, wil schijnbaar iedereen de opname, die Gittes weigert af te staan tot de dag van de lijkschouwing. Op de een of andere manier bewerkt Gittes de opname, waarbij Katherine’s naam uit de dialoog, de opname en de nasleep van Bodine’s moord wordt weggelaten. Hierdoor wordt de lijkschouwing een korte, bevredigende bijeenkomst waarin de rechter geen reden heeft om moord te vermoeden, en Berman nu vrij is van strafrechtelijke vervolging. Geconfronteerd met het feit dat Gittes weet dat hij terminaal ziek is, overtuigt Berman, die weet dat de modelwoning waarin hij woont gevuld is met aardgas, Gittes en Mickey ervan hem alleen in het huis te laten zodat hij “een sigaretje kan roken”. Hij wil niet dat een autopsie de erfenis van Kitty in de weg staat. Terwijl ze wegrijden, ontploft het huis.
Het verhaal eindigt met Kitty en Gittes in zijn kantoor. Ze hebben het over spijt en Kitty kust Gittes, die haar avances afwijst met de woorden: “Dat is jouw probleem, jongen. Je weet niet wie je voor de gek houdt.” Ze gaat weg en zegt dat hij af en toe aan me moet denken. Gittes zegt tegen haar “Het gaat nooit weg.”