Banen åbnede den 1. september 1997. Mere end 13.000 mennesker besøgte banen på åbningsdagen. Banen anvendte flere ukonventionelle konstruktions- og forretningsmetoder. De byggede en af de største baner i størrelse i landet, men byggede et relativt lille klubhus. De byggede også OTB’er før åbningen af banen. Banen indgik også en aftale med Maryland om at stoppe Marylands væddeløb under Colonial Downs’ fuldblodsmøde, selv om denne aftale senere blev ophævet. Det stykke jord, som banen er bygget på, blev erhvervet gennem en eminent domain-sag anlagt af staten Virginia mod en afroamerikansk/indfødt amerikansk familie (Tero Johnson), der havde ejet størstedelen af jorden siden 1863.
I perioden indtil 2005 blev banen forvaltet af Maryland Jockey Club i henhold til en kompliceret aftale med tilsynsmyndighederne i Virginia og Maryland og Maryland og Maryland-Virginia Racing Circuit. Banen var ret vellykket og tilbød gode turfløb om sommeren i den traditionelt dårlige treårige turfdivision. Banen afviklede to løb i den årlige Jacobs Investments Grand Slam of Grass. Denne begivenhed bestod af Colonial Turf Cup og Virginia Derby fra Colonial Downs, Secretariat Stakes fra Arlington Park og Breeders’ Cup Turf.
Banen anmodede om 25 fuldblodsdatoer i 2009, hvilket var et fald fra 45 i 2008. Efter forhandlinger med banens ryttere og Commonwealth of Virginia afviklede banen 40 fuldblodsdatoer. Tidsplanen løb oprindeligt fra den 12. juni til den 4. august 2009, men blev senere rykket en uge frem. Dette gjorde det muligt for banen at afvikle livevæddeløb på Belmont Stakes-dagen den 6. juni. Efterårets hestevæddeløb blev afviklet 36 gange fra den 8. september til den 7. november. Hestevæddeløbet blev planlagt til at slutte i Breeders’ Cup-weekenden.
Colonial Downs har ikke tilbudt fuldblodsræsvæddeløb siden 2013 på grund af en strid mellem banens ledelse og rytterforeninger. Harness racing sluttede det følgende år, og alle banetilknyttede væddemålssteder blev lukket i april 2015. Banen anlagde sag ved United States District Court for Eastern District of Virginia for at få klarhed over de nyligt ændrede love om hestevæddeløb i staten, men sagen blev afvist i distriktsdomstolen den 24. november 2015.
I november 2015 fik Colonial Downs af Virginia Racing Commission afvist løbsdatoer for 2016. I deres afgørelse erklærede kommissærerne, at Colonial Downs “udviste en ubarmhjertig tilsidesættelse af industrien”, da det afgav sin ubegrænsede væddeløbslicens i 2014. En talsmand for Jacobs Entertainment sagde, at alle muligheder for at holde banen åben er udtømt.
I april 2018 vedtog Virginia en lov, der tillader historiske væddeløbsmaskiner (svarende til spilleautomater) på banen og i betting-saloner uden for banen i et forsøg på at gøre det økonomisk rentabelt at genåbne banen. Få uger senere blev banen købt af Revolutionary Racing, en Chicago-baseret gruppe af investorer og spilchefer, for en pris på over 20 millioner dollars. Revolutionary Racing dannede derefter sammen med andre investorer Colonial Downs Group, som i dag ejer banen. Colonial Downs afholdt sit første løb siden 2013 den 8. august 2019.