A pista foi inaugurada em 1 de setembro de 1997. Mais de 13.000 pessoas assistiram à pista no dia da inauguração. A pista utilizou várias abordagens não convencionais de construção e negócios. Eles construíram uma das maiores pistas em tamanho no país, mas construíram um clubhouse relativamente pequeno. Eles também construíram OTBs antes da abertura da pista. A pista também fez um acordo com Maryland para parar as corridas de Maryland durante o encontro de puro-sangue Colonial Downs, embora isso tenha terminado mais tarde. O terreno em que a pista é construída foi obtido através de um eminente processo de domínio interposto pelo Estado da Virgínia contra uma família afro-americana/nativo-americana (Tero Johnson) que detinha a maioria dos terrenos desde 1863.
até 2005, a pista foi gerida pelo Maryland Jockey Club sob um acordo complicado com os reguladores da Virginia e Maryland e o Maryland-Virginia Racing Circuit. A pista teve bastante sucesso e ofereceu boas corridas de relva de Verão na divisão de relva tradicionalmente pobre com três anos de idade. A pista correu duas etapas do Grand Slam of Grass of Grass anual da Jacobs Investments. Este evento consistiu na Colonial Turf Cup e no Virginia Derby de Colonial Downs, no Secretariat Stakes de Arlington Park e na Breeders’ Cup Turf.
A pista solicitou 25 datas de puro-sangue em 2009, contra 45 em 2008. Depois de negociações com os cavaleiros da pista e a Comunidade da Virgínia, a pista teve 40 datas de puro-sangue. O cronograma funcionou originalmente de 12 de junho a 4 de agosto de 2009, mas foi adiado uma semana mais tarde. Isso permitiu que a pista corresse ao vivo no dia 6 de junho, Dia das Estacas de Belmont. O encontro de Outono teve 36 datas, de 8 de Setembro a 7 de Novembro. O encontro de arreios foi cronometrado para terminar no fim de semana da Copa dos Criadores.
Colonial Downs não oferece corridas de puro-sangue desde 2013, devido a uma disputa entre a gerência da pista e os grupos de cavaleiros. As corridas de arreios terminaram no ano seguinte, e todos os locais de apostas associados à pista foram encerrados em Abril de 2015. A pista entrou com uma ação judicial no Tribunal Distrital dos Estados Unidos para o Distrito Leste da Virgínia, buscando clareza nas leis estaduais de corrida de cavalos recentemente alteradas, mas o caso foi arquivado no Tribunal Distrital em 24 de novembro de 2015.
Em novembro de 2015, a Comissão de Corridas da Virginia negou as datas das corridas de 2016 em Colonial Downs. Ao tomar a sua decisão, os comissários declararam que a Colonial Downs “demonstrou um insensível desrespeito pela indústria” quando renunciou à sua licença de corrida ilimitada em 2014. Um porta-voz da Jacobs Entertainment disse que todas as opções para manter a pista aberta foram esgotadas.
Em abril de 2018, Virginia promulgou uma lei para permitir que máquinas de corrida históricas (semelhantes às slot machines) na pista e em salas de apostas fora da pista, num esforço para tornar economicamente viável reabrir a pista. Semanas depois, a pista foi comprada pela Revolutionary Racing, um grupo de investidores e executivos de jogos baseado em Chicago, por um preço de mais de 20 milhões de dólares. A Revolutionary Racing, juntamente com outros investidores, formou então o Colonial Downs Group, que atualmente é dono da pista. O Colonial Downs realizou sua primeira corrida desde 2013 em 8 de agosto de 2019.
.