Tor został otwarty 1 września 1997 roku. Ponad 13,000 osób przybyło na tor w dniu otwarcia. Tor wykorzystał kilka niekonwencjonalnych podejść budowlanych i biznesowych. Zbudowali jeden z największych torów pod względem wielkości w kraju, ale zbudowali stosunkowo mały dom klubowy. Zbudowali również OTB przed otwarciem toru. Tor zawarł również umowę z Maryland, aby nie organizować wyścigów Maryland podczas Colonial Downs thoroughbred meet, choć ta umowa została później rozwiązana. The tract of land on which the track is built was obtained through an eminent domain suit brought by the State of Virginia against an African American/Native American family (Tero Johnson) that had owned the majority of the land since 1863.
Until 2005, the track was managed by the Maryland Jockey Club under a complicated agreement with Virginia and Maryland regulators and the Maryland-Virginia Racing Circuit. Tor był dość udany i oferował dobre letnie wyścigi na murawie w tradycyjnie słabym, trzyletnim oddziale na murawie. Tor przeprowadził dwa etapy corocznego Jacobs Investments Grand Slam of Grass. Wydarzenie to składało się z Colonial Turf Cup i Virginia Derby z Colonial Downs, Secretariat Stakes z Arlington Park i Breeders’ Cup Turf.
Tor poprosił o 25 dat pełnej krwi w 2009 roku, w porównaniu z 45 w 2008 roku. Po negocjacjach z jeźdźcami toru i Commonwealth of Virginia, tor prowadził 40 pełnokrwistych dat. Harmonogram pierwotnie obejmował okres od 12 czerwca do 4 sierpnia 2009 roku, ale później został przesunięty o jeden tydzień. Dzięki temu tor mógł prowadzić wyścigi na żywo w dniu Belmont Stakes, 6 czerwca. Jesienny harness meet odbył się w 36 terminach, od 8 września do 7 listopada. Spotkanie uprzęży zostało tak zaplanowane, aby zakończyć w Breeders’ Cup weekend.
Colonial Downs nie oferował wyścigów pełnej krwi od 2013 roku, ze względu na spór między zarządzaniem torem a grupami jeźdźców. Wyścigi uprzęży zakończyły się w następnym roku, a wszystkie powiązane z torem strony z zakładami zostały zamknięte w kwietniu 2015 roku. Tor złożył pozew w Sądzie Okręgowym Stanów Zjednoczonych dla Wschodniego Dystryktu Wirginii, szukając jasności w niedawno zmienionych przepisach stanowych dotyczących wyścigów konnych, ale sprawa została odrzucona w Sądzie Okręgowym 24 listopada 2015 r.
W listopadzie 2015 roku Colonial Downs odmówiono 2016 dat wyścigowych przez Virginia Racing Commission. Wydając swoją decyzję, komisarze stwierdzili, że Colonial Downs „wykazał bezduszne lekceważenie dla branży”, gdy zrzekł się nieograniczonej licencji wyścigowej w 2014 roku. Rzecznik Jacobs Entertainment powiedział, że wszystkie opcje, aby utrzymać tor otwarty, zostały wyczerpane.
W kwietniu 2018 roku Wirginia uchwaliła prawo zezwalające na historyczne maszyny wyścigowe (podobne do automatów do gier) na torze i w salonach bukmacherskich poza torem, w dążeniu do uczynienia go ekonomicznie opłacalnym, aby ponownie otworzyć tor. Kilka tygodni później tor został zakupiony przez Revolutionary Racing, grupę inwestorów i szefów branży hazardowej z Chicago, za cenę ponad 20 milionów dolarów. Revolutionary Racing wraz z innymi inwestorami utworzyli Colonial Downs Group, która obecnie jest właścicielem toru. Colonial Downs odbył swój pierwszy wyścig od 2013 roku w dniu 8 sierpnia 2019 r.
.