De baan opende op 1 september 1997. Meer dan 13.000 mensen bezochten de baan op de openingsdag. De baan gebruikte verschillende onconventionele bouw- en bedrijfsbenaderingen. Ze bouwden een van de grootste banen in grootte in het land, maar bouwden een relatief klein clubhuis. Ze bouwden ook OTB’s voor de opening van de baan. De track sloot ook een deal met Maryland om Maryland races te stoppen tijdens de Colonial Downs volbloed meeting, hoewel dit later eindigde. Het stuk land waarop de renbaan is gebouwd, werd verkregen door een aanklacht tot onteigening door de staat Virginia tegen een Afro-Amerikaanse/Native American familie (Tero Johnson) die het grootste deel van het land sinds 1863 in bezit had.
Tot 2005 werd de renbaan beheerd door de Maryland Jockey Club onder een ingewikkelde overeenkomst met Virginia en Maryland regelgevers en het Maryland-Virginia Racing Circuit. De baan was redelijk succesvol en bood in de zomer goede turfraces in de traditioneel arme driejarigen turfdivisie. De renbaan organiseerde twee keer de jaarlijkse Jacobs Investments Grand Slam of Grass. Dit evenement bestond uit de Colonial Turf Cup en de Virginia Derby van Colonial Downs, de Secretariat Stakes van Arlington Park en de Breeders’ Cup Turf.
De track vroeg 25 volbloed data in 2009, een daling ten opzichte van 45 in 2008. Na onderhandelingen met de ruiters van de track en de Commonwealth of Virginia, de track liep 40 volbloed data. Het schema liep oorspronkelijk van 12 juni tot 4 augustus 2009, maar werd later een week opgeschoven. Hierdoor kon de renbaan live racen op Belmont Stakes dag, 6 juni. De herfst harness meeting liep 36 data, van 8 september tot 7 november. De harness meet was getimed om te eindigen op Breeders Cup weekend.
Colonial Downs heeft geen volbloed races aangeboden sinds 2013, als gevolg van een geschil tussen track management en ruiters groepen. Harness racing eindigde het jaar daarop, en alle track-affiliated weddenschappen sites werden gesloten in april 2015. De track spande een rechtszaak aan bij de United States District Court voor het Eastern District of Virginia, op zoek naar duidelijkheid in recent gewijzigde staatswetten voor paardenrennen, maar de zaak werd op 24 november 2015 in de rechtbank afgewezen.
In november 2015 werd Colonial Downs 2016 racedata geweigerd door de Virginia Racing Commission. Bij het nemen van hun beslissing verklaarden de commissarissen dat Colonial Downs “een meedogenloze minachting voor de industrie toonde” toen het zijn onbeperkte racelicentie in 2014 inleverde. Een woordvoerder van Jacobs Entertainment zei dat alle opties om de baan open te houden zijn uitgeput.
In april 2018 nam Virginia een wet aan om historische racemachines (vergelijkbaar met slotmachines) toe te staan op de baan en in off-track betting parlors, in een poging om het economisch levensvatbaar te maken om de baan te heropenen. Weken later werd de renbaan gekocht door Revolutionary Racing, een groep investeerders en gokexecutives uit Chicago, voor een prijs van meer dan 20 miljoen dollar. Revolutionary Racing en andere investeerders vormden vervolgens de Colonial Downs Group, die momenteel eigenaar is van de baan. Colonial Downs hield zijn eerste race sinds 2013 op 8 augustus 2019.