Dráha byla otevřena 1. září 1997. V den otevření navštívilo závodiště více než 13 000 návštěvníků. Dráha použila několik netradičních stavebních a obchodních přístupů. Postavili jednu z rozlohou největších drah v zemi, ale vybudovali relativně malou klubovnu. Před otevřením dráhy postavili také OTB. Dráha také uzavřela dohodu s Marylandem o zastavení závodů v Marylandu během setkání plnokrevníků v Colonial Downs, ačkoli tato dohoda byla později ukončena. Pozemek, na kterém je dráha postavena, získal stát Virginie na základě žaloby na eminent domain proti afroamerické/původní americké rodině (Tero Johnson), která vlastnila většinu pozemku od roku 1863.
Do roku 2005 spravoval dráhu Maryland Jockey Club na základě složité dohody s regulačními orgány Virginie a Marylandu a s Maryland-Virginia Racing Circuit. Dráha byla poměrně úspěšná a nabízela dobré letní turfové dostihy v tradičně chudé divizi tříletých turfů. Na dráze se každoročně konaly dvě etapy dostihů Jacobs Investments Grand Slam of Grass. Tento podnik se skládal z Colonial Turf Cupu a Virginia Derby z Colonial Downs, Secretariat Stakes z Arlington Parku a Breeders‘ Cup Turf.
Dráha si v roce 2009 vyžádala 25 plnokrevných termínů, což je méně než 45 v roce 2008. Po jednáních s jezdci na dráze a s Commonwealthem Virginie dráha uspořádala 40 plnokrevných termínů. Harmonogram původně probíhal od 12. června do 4. srpna 2009, ale později byl o týden posunut. To dráze umožnilo provozovat dostihy v přímém přenosu v den konání Belmont Stakes, tedy 6. června. Od 8. září do 7. listopadu se konalo 36 podzimních dostihů. Setkání koní bylo načasováno tak, aby skončilo o víkendu Breeders‘ Cup.
Colonial Downs nenabízí plnokrevné dostihy od roku 2013, a to kvůli sporu mezi vedením dráhy a skupinami jezdců. Dostihy skončily v následujícím roce a v dubnu 2015 byla uzavřena všechna sázková místa spojená s dráhou. Dráha podala žalobu k okresnímu soudu Spojených států amerických pro východní okres Virginie, v níž se domáhala vyjasnění nedávno novelizovaných státních dostihových zákonů, ale 24. listopadu 2015 byl případ u okresního soudu zamítnut.
V listopadu 2015 zamítla dostihová komise Virginie Colonial Downs dostihové termíny pro rok 2016. Při vydávání svého rozhodnutí komisaři uvedli, že Colonial Downs „projevil bezcitnou neúctu k odvětví“, když se v roce 2014 vzdal své neomezené dostihové licence. Mluvčí společnosti Jacobs Entertainment uvedl, že všechny možnosti, jak udržet závodiště v provozu, byly vyčerpány.
V dubnu 2018 přijala Virginie zákon, který umožňuje provozování historických dostihových automatů (podobných výherním automatům) na závodišti a v sázkových salonech mimo závodiště, ve snaze zajistit ekonomickou rentabilitu znovuotevření závodiště. O několik týdnů později dráhu koupila skupina investorů a vedoucích pracovníků v oblasti hazardních her Revolutionary Racing se sídlem v Chicagu za cenu přesahující 20 milionů dolarů. Revolutionary Racing pak spolu s dalšími investory vytvořila skupinu Colonial Downs Group, která v současnosti dráhu vlastní. Colonial Downs uspořádala svůj první dostih od roku 2013 8. srpna 2019.