Královskou vojenskou kolej vymyslel plukovník John Le Marchant, jehož plán na zřízení škol pro vojenskou výuku důstojníků v High Wycombe a Great Marlow nejprve narazil na silný odpor z důvodu nákladů.
V té době již existovalo několik malých soukromých vojenských akademií pro začínající důstojníky pěchoty a jezdectva, zejména jedna, kterou přibližně od roku 1770 až do svého zrušení v roce 1790 provozoval Lewis Lochée v Chelsea. Žádná z nich však nebyla formálně schválena britskou vládou.
V roce 1799 založil Le Marchant v High Wycombe školu pro štábní důstojníky. V roce 1801 parlament odhlasoval dotaci 30 000 liber na jeho ambicióznější návrhy a v roce 1801 se škola pro štábní důstojníky v High Wycombe stala vyšším oddělením nové vojenské školy. V roce 1802, kdy byl Le Marchant jmenován prvním viceguvernérem koleje, otevřel ve velkém domě zvaném Remnantz na West Street v Great Marlow její nižší oddělení pro výcvik kadetů gentlemanů pro pěší a jízdní pluky britské armády a pro prezidentské armády v Britské Indii. Rok 1802 byl stejný jako rok založení francouzské armády Saint-Cyr a West Pointu ve Spojených státech. Generál sir William Harcourt byl jmenován prvním guvernérem Královské vojenské akademie v Great Marlow a ve funkci setrval až do roku 1811.V roce 1812 se mladší oddělení akademie přestěhovalo z Great Marlow do účelových budov v Sandhurstu, které navrhl James Wyatt, a brzy se k němu připojilo i vyšší oddělení, které se tam přestěhovalo z High Wycombe. V roce 1858 se z něj stala samostatná instituce Staff College.
Po vypuknutí druhé světové války bylo mnoho kadetů a zaměstnanců Royal Military College mobilizováno do aktivní služby, ale budovy v Sandhurstu zůstaly domovem 161. jednotky výcviku důstojníků pěchoty RMC. V roce 1942 se tato jednotka přestěhovala do kasáren Mons Barracks v Aldershotu a po zbytek války byl areál Sandhurstu využíván jako výcviková jednotka důstojníků Royal Armoured Corps.
V roce 1947 vznikla na místě Královské vojenské akademie nová Královská vojenská akademie Sandhurst, která sloučila Královskou vojenskou akademii ve Woolwichi (která v letech 1741-1939 připravovala důstojníky pro Královské dělostřelectvo a Královské ženijní jednotky) a Královskou vojenskou akademii (1802-1942) s cílem poskytovat výcvik důstojníků pro všechny zbraně a služby.