O site tem grande importância estratégica; ele controla o acesso ao vale do Calavon. Ocupado desde a pré-história, foi um oppidum no período romano.
Durante a Idade Média, os habitantes deixaram a planície e se estabeleceram ao redor da vila fortificada.
Durante a Segunda Guerra Mundial, a vila de Gordes foi um centro de resistência ativa contra os ocupantes. Foi bombardeada a 22 de Agosto de 1944 e uma dúzia de casas foram dinamitadas em represália pela morte de um soldado alemão, morto por combatentes da resistência.
O castel existente data do século X, e foi remodelado durante a Renascença. Durante as Guerras da Religião, Gordes, solidamente fortificado, resistiu ao assalto do Barão des Adrets, cruel chefe Huguenot que enfureceu a sua fúria destrutiva na Abadia de Senanque.
Este castel imponente domina a aldeia de Gordes. Ele data do século X e foi remodelado durante a Renascença. Pode visitá-la e ao museu que alberga, o museu Pol Mara, pintor flamengo contemporâneo e habitante de Gordes.
A terrível insegurança, por causa das muitas invasões ao longo dos séculos, obrigou as pessoas do campo a procurarem refúgio nas alturas. Essa foi a origem destas aldeias no topo das colinas. O valor estratégico destas cidades fortificadas durou toda a Idade Média e uma parte da Renascença, nomeadamente durante as Guerras da Religião.
Hoje, Gordes é uma das sete aldeias mais bonitas de França no departamento da Vaucluse. Conhecida ao redor do mundo, a aldeia merece, por causa de seu ar invulnerável, o nome de acropolis-town e está em um lugar escolhido entre as cidades sentinela da região de Luberon.