La pista se inauguró el 1 de septiembre de 1997. Más de 13.000 personas asistieron al hipódromo el día de la inauguración. El hipódromo utilizó varios enfoques empresariales y de construcción poco convencionales. Construyeron uno de los hipódromos más grandes del país, pero con una casa club relativamente pequeña. También construyeron bares de copas antes de la apertura del hipódromo. El hipódromo también llegó a un acuerdo con Maryland para detener las carreras de ese estado durante el encuentro de purasangres de Colonial Downs, aunque esto terminó más tarde. El terreno sobre el que se construyó el hipódromo se obtuvo mediante una demanda de dominio eminente presentada por el Estado de Virginia contra una familia afroamericana/indígena (Tero Johnson) que había sido propietaria de la mayor parte del terreno desde 1863.
Hasta 2005, el hipódromo fue gestionado por el Jockey Club de Maryland en virtud de un complicado acuerdo con los organismos reguladores de Virginia y Maryland y el Circuito de Carreras de Maryland-Virginia. El hipódromo tuvo bastante éxito y ofreció buenas carreras de césped en verano en la tradicionalmente pobre división de césped de tres años. El hipódromo organizó dos etapas del Grand Slam of Grass anual de Jacobs Investments. Este evento consistió en la Colonial Turf Cup y el Virginia Derby de Colonial Downs, el Secretariat Stakes de Arlington Park y la Breeders’ Cup Turf.
El hipódromo solicitó 25 fechas de purasangres en 2009, por debajo de las 45 de 2008. Tras las negociaciones con los jinetes del hipódromo y el Estado de Virginia, el hipódromo organizó 40 carreras de purasangres. El calendario se extendía originalmente del 12 de junio al 4 de agosto de 2009, pero posteriormente se adelantó una semana. Esto permitió al hipódromo celebrar carreras en directo el día de los Belmont Stakes, el 6 de junio. El encuentro de otoño de arneses tuvo 36 fechas, del 8 de septiembre al 7 de noviembre. El encuentro de arneses se programó para que terminara el fin de semana de la Breeders’ Cup.
Colonial Downs no ha ofrecido carreras de purasangres desde 2013, debido a una disputa entre la administración de la pista y los grupos de jinetes. Las carreras de caballos terminaron al año siguiente, y todos los sitios de apuestas afiliados al hipódromo se cerraron en abril de 2015. El hipódromo presentó una demanda en el Tribunal de Distrito de los Estados Unidos para el Distrito Este de Virginia, buscando claridad en las leyes estatales de carreras de caballos recientemente modificadas, pero el caso fue desestimado en el Tribunal de Distrito el 24 de noviembre de 2015.
En noviembre de 2015, la Comisión de Carreras de Virginia denegó a Colonial Downs las fechas de las carreras de 2016. Al emitir su decisión, los comisionados declararon que Colonial Downs «mostró un desprecio insensible por la industria» cuando renunció a su licencia de carreras ilimitadas en 2014. Un portavoz de Jacobs Entertainment dijo que se habían agotado todas las opciones para mantener el hipódromo abierto.
En abril de 2018, Virginia promulgó una ley para permitir las máquinas de carreras históricas (similares a las tragaperras) en el hipódromo y en los salones de apuestas fuera de la pista, en un esfuerzo por hacer económicamente viable la reapertura del hipódromo. Semanas después, el hipódromo fue adquirido por Revolutionary Racing, un grupo de inversores y ejecutivos del sector del juego con sede en Chicago, por un precio de más de 20 millones de dólares. Revolutionary Racing, junto con otros inversores, formó entonces el Colonial Downs Group, que actualmente es el propietario del hipódromo. Colonial Downs celebró su primera carrera desde 2013 el 8 de agosto de 2019.