De plaats heeft een groot strategisch belang; het controleert de toegang tot de Calavon vallei. Bewoond sinds de prehistorie, was het een oppidum in de Romeinse periode.
Tijdens de Middeleeuwen verlieten de inwoners de vlakte en vestigden zich rond de versterkte stad.
Tijdens de Tweede Wereldoorlog was het dorp Gordes een actief verzetscentrum tegen de bezetters. Het werd op 22 augustus 1944 gebombardeerd en een tiental huizen werd gedynamiteerd als vergelding voor de dood van een Duitse soldaat, gedood door verzetsstrijders.
Het bestaande castel dateert uit de 10e eeuw, en werd tijdens de Renaissance verbouwd. Tijdens de godsdienstoorlogen weerstond Gordes, stevig versterkt, de aanval van Baron des Adrets, een wrede hugenotenleider die zijn vernietigende woede over de abdij van Senanque liet razen.
Dit imposante kasteel domineert het dorp Gordes. Het dateert uit de 10e eeuw en werd tijdens de renaissance verbouwd. U kunt het bezoeken en het museum dat er in is ondergebracht, het museum van Pol Mara, hedendaags Vlaams schilder en inwoner van Gordes.
De verschrikkelijke onveiligheid, als gevolg van de vele invasies door de eeuwen heen, dwong de plattelandsbevolking haar toevlucht te zoeken op de hoogten. Dat was de oorsprong van deze hooggelegen dorpen. De strategische waarde van deze vestingstadjes bleef gedurende de Middeleeuwen en een deel van de Renaissance bestaan, met name tijdens de Godsdienstoorlogen.
Heden ten dage is Gordes een van de zeven mooiste dorpen van Frankrijk in het departement de Vaucluse. Bekend over de hele wereld, verdient het dorp, vanwege zijn onaantastbare lucht, de naam van akropolis-stad en staat het op een uitgelezen plaats tussen de wachterssteden van de Luberon.