Die Rennbahn wurde am 1. September 1997 eröffnet. Am Eröffnungstag besuchten mehr als 13.000 Besucher die Rennbahn. Die Rennbahn verfolgte mehrere unkonventionelle Bau- und Geschäftskonzepte. Sie errichtete eine der größten Rennstrecken des Landes, baute aber ein relativ kleines Clubhaus. Außerdem wurden vor der Eröffnung der Rennbahn OTBs errichtet. Die Rennbahn schloss auch ein Abkommen mit Maryland, um Maryland-Rennen während des Colonial Downs-Vollblütertreffens zu unterbinden, was jedoch später wieder aufgehoben wurde. Das Grundstück, auf dem die Rennbahn gebaut ist, wurde durch eine Enteignungsklage des Staates Virginia gegen eine afroamerikanische/indianische Familie (Tero Johnson) erworben, der der Großteil des Grundstücks seit 1863 gehörte.
Bis 2005 wurde die Rennbahn vom Maryland Jockey Club im Rahmen einer komplizierten Vereinbarung mit den Behörden von Virginia und Maryland und dem Maryland-Virginia Racing Circuit verwaltet. Die Bahn war recht erfolgreich und bot im Sommer gute Rasenrennen in der traditionell schwachen Abteilung für dreijährige Pferde. Auf der Bahn wurden zwei Rennen des jährlichen Jacobs Investments Grand Slam of Grass ausgetragen. Diese Veranstaltung bestand aus dem Colonial Turf Cup und dem Virginia Derby von Colonial Downs, den Secretariat Stakes von Arlington Park und dem Breeders‘ Cup Turf.
Die Rennbahn beantragte 25 Vollblütertermine im Jahr 2009, weniger als 45 im Jahr 2008. Nach Verhandlungen mit den Reitern der Rennbahn und dem Commonwealth of Virginia hat die Rennbahn 40 Vollblüter-Termine angesetzt. Der Zeitplan lief ursprünglich vom 12. Juni bis zum 4. August 2009, wurde aber später um eine Woche vorverlegt. Dies ermöglichte es der Rennbahn, am 6. Juni, dem Tag der Belmont Stakes, Live-Rennen durchzuführen. Im Herbst fanden 36 Rennen statt, vom 8. September bis zum 7. November. Die Trabrennen endeten am Breeders‘ Cup-Wochenende.
Colonial Downs bietet seit 2013 keine Vollblutrennen mehr an, da es zu einem Streit zwischen der Rennbahnverwaltung und den Pferdeverbänden kam. Im darauffolgenden Jahr wurden die Trabrennen eingestellt, und im April 2015 wurden alle der Rennbahn angeschlossenen Wettseiten geschlossen. Die Rennbahn reichte eine Klage beim United States District Court for the Eastern District of Virginia ein, um Klarheit in den kürzlich geänderten staatlichen Pferderenngesetzen zu erlangen, aber der Fall wurde am 24. November 2015 vor dem Bezirksgericht abgewiesen.
Im November 2015 wurden Colonial Downs von der Virginia Racing Commission Renntermine für 2016 verweigert. In ihrer Entscheidung erklärten die Kommissare, dass Colonial Downs „eine gefühllose Missachtung der Branche“ gezeigt habe, als es 2014 seine unbegrenzte Rennlizenz zurückgab. Ein Sprecher von Jacobs Entertainment sagte, dass alle Möglichkeiten, die Rennbahn offen zu halten, ausgeschöpft worden seien.
Im April 2018 erließ Virginia ein Gesetz, das historische Rennmaschinen (ähnlich wie Spielautomaten) auf der Rennbahn und in Wettbüros außerhalb der Rennbahn zulässt, um die Wiedereröffnung der Rennbahn wirtschaftlich tragfähig zu machen. Wochen später wurde die Rennbahn von Revolutionary Racing, einer in Chicago ansässigen Gruppe von Investoren und Führungskräften aus dem Glücksspielbereich, für einen Preis von über 20 Millionen Dollar gekauft. Zusammen mit anderen Investoren gründete Revolutionary Racing dann die Colonial Downs Group, die derzeit Eigentümer der Rennbahn ist. Colonial Downs veranstaltete sein erstes Rennen seit 2013 am 8. August 2019.