Rata avattiin 1. syyskuuta 1997. Avajaispäivänä radalla kävi yli 13 000 katsojaa. Radalla käytettiin useita epätavanomaisia rakennus- ja liiketoimintatapoja. He rakensivat yhden koko maan suurimmista radoista, mutta rakensivat suhteellisen pienen klubitalon. He rakensivat myös OTB:t ennen radan avaamista. Rata teki myös Marylandin kanssa sopimuksen, jonka mukaan Marylandin kilpa-ajot lopetettiin Colonial Downsin täysverikilpailujen aikana, mutta tämä sopimus päättyi myöhemmin. Maa-alue, jolle rata on rakennettu, saatiin haltuunsa pakkolunastusoikeudenkäynnillä, jonka Virginian osavaltio pani vireille afroamerikkalaista/alkuperäisamerikkalaista perhettä (Tero Johnson) vastaan, joka oli omistanut suurimman osan maasta vuodesta 1863 lähtien.
Vuoteen 2005 asti rataa hallinnoi Marylandin Jockey Club monimutkaisen sopimuksen perusteella Virginian ja Marylandin sääntelyviranomaisten ja Maryland-Virginia Racing Circuitin kanssa. Rata oli melko menestyksekäs ja tarjosi hyviä kesäajan nurmikilpailuja perinteisesti huonossa kolmevuotiaiden nurmidivisioonassa. Radalla järjestettiin vuosittain kaksi Jacobs Investments Grand Slam of Grass -kilpailun osakilpailua. Tämä tapahtuma koostui Colonial Downsin Colonial Turf Cupista ja Virginia Derbystä, Arlington Parkin Secretariat Stakesista ja Breeders’ Cup Turfista.
Rata pyysi 25 täysiveristä päivämäärää vuonna 2009, kun vuonna 2008 niitä oli 45. Radan hevosmiesten ja Virginian osavaltion kanssa käytyjen neuvottelujen jälkeen rata järjesti 40 täysveripäivää. Aikataulu oli alun perin 12. kesäkuuta – 4. elokuuta 2009, mutta sitä siirrettiin myöhemmin yhdellä viikolla eteenpäin. Tämä mahdollisti sen, että Belmont Stakes -päivänä, 6. kesäkuuta, voitiin järjestää live-kilpailuja. Syksyn valjakkoajot järjestettiin 36 kertaa 8. syyskuuta ja 7. marraskuuta välisenä aikana. Valjakkotapahtuma ajoitettiin päättymään Breeders’ Cup -viikonloppuun.
Colonial Downs ei ole tarjonnut täysiverisiä kilpailuja vuoden 2013 jälkeen radan johdon ja hevosmiesten ryhmien välisen kiistan vuoksi. Valjakkoajot päättyivät seuraavana vuonna, ja kaikki radan yhteydessä olevat vedonlyöntisivustot suljettiin huhtikuussa 2015. Rata nosti kanteen Yhdysvaltain Virginian itäisen piirikunnan piirituomioistuimessa ja haki selvyyttä äskettäin muutettuihin osavaltion hevosurheilulakeihin, mutta kanne hylättiin piirituomioistuimessa 24. marraskuuta 2015.
Marraskuussa 2015 Virginian kilpaurheilukomissio eväsi Colonial Downsilta vuoden 2016 kilpailupäivät. Päätöstä tehdessään komissaarit totesivat, että Colonial Downs ”osoitti sydämetöntä piittaamattomuutta alaa kohtaan”, kun se luopui rajoittamattomasta kilpaurheiluluvastaan vuonna 2014. Jacobs Entertainmentin tiedottaja sanoi, että kaikki vaihtoehdot radan pitämiseksi auki on käytetty loppuun.
Huhtikuussa 2018 Virginiassa säädettiin laki, joka sallii historialliset kilpa-automaatit (samanlaiset kuin peliautomaatit) radalla ja radan ulkopuolisissa vedonlyöntisaleissa, jotta radan avaaminen uudelleen olisi taloudellisesti kannattavaa. Viikkoja myöhemmin radan osti Revolutionary Racing, chicagolainen sijoittajien ja pelialan johtajien ryhmä, yli 20 miljoonan dollarin hintaan. Revolutionary Racing muodosti sitten yhdessä muiden sijoittajien kanssa Colonial Downs Groupin, joka tällä hetkellä omistaa radan. Colonial Downs järjesti ensimmäisen kilpailunsa sitten vuoden 2013 8. elokuuta 2019.