Banan öppnade den 1 september 1997. Mer än 13 000 personer besökte banan på öppningsdagen. Banan använde flera okonventionella konstruktions- och affärsmetoder. De byggde en av de största banorna i storlek i landet men byggde ett relativt litet klubbhus. De byggde också OTBs innan banan öppnades. Banan slöt också ett avtal med Maryland om att stoppa Marylands tävlingar under Colonial Downs fullblodsträff, även om detta senare upphörde. Det markområde som banan är byggd på erhölls genom en eminent domänprocess som fördes av delstaten Virginia mot en afroamerikansk/naturamerikansk familj (Tero Johnson) som hade ägt majoriteten av marken sedan 1863.
Fram till 2005 förvaltades banan av Maryland Jockey Club enligt ett komplicerat avtal med tillsynsmyndigheter i Virginia och Maryland och Maryland-Virginia Racing Circuit. Banan var ganska framgångsrik och erbjöd bra turflopp på sommaren i den traditionellt sett dåliga treåriga turfdivisionen. Banan körde två etapper av den årliga Jacobs Investments Grand Slam of Grass. Detta evenemang bestod av Colonial Turf Cup och Virginia Derby från Colonial Downs, Secretariat Stakes från Arlington Park och Breeders’ Cup Turf.
Banan begärde 25 fullblodsdatum 2009, vilket är en minskning från 45 år 2008. Efter förhandlingar med banans ryttare och delstaten Virginia körde banan 40 fullblodsdagar. Schemat var ursprungligen från den 12 juni till den 4 augusti 2009, men flyttades senare fram en vecka. Detta gjorde det möjligt för banan att köra live racing på Belmont Stakes-dagen, den 6 juni. Höstens tävling för travhästar pågick 36 gånger, från den 8 september till den 7 november. Hästkapplöpningen avslutades under Breeders’ Cup-helgen.
Colonial Downs har inte erbjudit fullblodslopp sedan 2013 på grund av en tvist mellan banans ledning och ryttargrupper. Hästkapplöpning upphörde året därpå och alla spåranslutna bettingsidor stängdes i april 2015. Banan lämnade in en stämningsansökan till United States District Court for the Eastern District of Virginia för att få klarhet i de nyligen ändrade delstatliga hästkapplöpningslagarna, men ärendet avvisades i distriktsdomstolen den 24 november 2015.
I november 2015 nekades Colonial Downs 2016 års tävlingsdatum av Virginia Racing Commission. I sitt beslut konstaterade kommissionärerna att Colonial Downs ”visade kallsinnig nonchalans för branschen” när de lämnade ifrån sig sin obegränsade tävlingslicens 2014. En talesman för Jacobs Entertainment sade att alla alternativ för att hålla banan öppen har uttömts.
I april 2018 antog Virginia en lag som tillåter historiska tävlingsmaskiner (som liknar spelautomater) på banan och i off-track betting parlors, i ett försök att göra det ekonomiskt lönsamt att öppna banan igen. Veckor senare köptes banan av Revolutionary Racing, en Chicagobaserad grupp av investerare och spelchefer, för ett pris på över 20 miljoner dollar. Revolutionary Racing bildade sedan tillsammans med andra investerare Colonial Downs Group, som för närvarande äger banan. Colonial Downs höll sitt första lopp sedan 2013 den 8 augusti 2019.