A pálya 1997. szeptember 1-jén nyílt meg. A megnyitó napján több mint 13 ezren látogattak ki a pályára. A pálya több rendhagyó építési és üzleti megközelítést alkalmazott. Megépítették az ország egyik legnagyobb méretű pályáját, de viszonylag kis klubházat építettek. A pálya megnyitása előtt OTB-ket is építettek. A pálya egyezséget kötött Marylanddel is, hogy a Colonial Downs telivér találkozó ideje alatt ne rendezzenek marylandi versenyeket, bár ez később megszűnt. A földterületet, amelyen a pálya épült, egy kisajátítási per útján szerezték meg, amelyet Virginia állam indított egy afroamerikai/indián család (Tero Johnson) ellen, amely 1863 óta birtokolta a földterület nagy részét.
2005-ig a pályát a Maryland Jockey Club kezelte egy bonyolult megállapodás alapján, amelyet Virginia és Maryland szabályozó hatóságai és a Maryland-Virginia Racing Circuit kötött. A pálya meglehetősen sikeres volt, és jó nyári gyepversenyeket kínált a hagyományosan gyenge hároméves gyeposztályban. A pályán rendezték meg az évente megrendezett Jacobs Investments Grand Slam of Grass két szakaszát. Ez az esemény a Colonial Turf Cup és a Virginia Derby a Colonial Downsból, a Secretariat Stakes az Arlington Parkból és a Breeders’ Cup Turfból állt.
A pálya 2009-ben 25 telivér időpontot kért, szemben a 2008-as 45-tel. A pálya lovasaival és a Virginia Államközösséggel folytatott tárgyalások után a pálya 40 telivér időpontot futott. A versenynaptár eredetileg 2009. június 12-től augusztus 4-ig tartott, de később egy héttel előrébb került. Ez lehetővé tette, hogy a pálya a Belmont Stakes napján, június 6-án élő versenyeket rendezhessen. Az őszi lóverseny 36 versenynapot tartott, szeptember 8. és november 7. között. A harness meet a Breeders’ Cup hétvégéjére időzítették.
Colonial Downs 2013 óta nem kínál telivér versenyeket a pálya vezetősége és a lovas csoportok közötti vita miatt. A következő évben megszűntek a lóversenyek, és 2015 áprilisában bezárták az összes, a pályához kapcsolódó fogadási oldalt. A pálya pert indított az Egyesült Államok Kelet-Virginiai Kerületi Bíróságán, a nemrég módosított állami lóversenytörvények tisztázása érdekében, de az ügyet 2015. november 24-én a kerületi bíróság elutasította.
2015 novemberében a Virginia Racing Commission megtagadta a Colonial Downs 2016-os versenydátumait. Döntésük meghozatalakor a biztosok kijelentették, hogy a Colonial Downs “érzéketlen semmibevételről tett tanúbizonyságot az iparággal szemben”, amikor 2014-ben lemondott a korlátlan versenyengedélyéről. A Jacobs Entertainment szóvivője elmondta, hogy minden lehetőséget kimerítettek a pálya nyitva tartására.
2018 áprilisában Virginia törvényt hozott arról, hogy a pályán és a pályán kívüli fogadóirodákban történelmi versenygépek (a nyerőgépekhez hasonlóan) működhetnek, annak érdekében, hogy gazdaságilag életképessé tegyék a pálya újranyitását. Hetekkel később a pályát megvásárolta a Revolutionary Racing, egy chicagói székhelyű befektetői és szerencsejáték-vezetői csoport, több mint 20 millió dollárért. A Revolutionary Racing más befektetőkkel együtt megalakította a Colonial Downs Groupot, amely jelenleg a pálya tulajdonosa. A Colonial Downs 2019. augusztus 8-án tartotta első versenyét 2013 óta.