Het Royal Military College was een idee van kolonel John Le Marchant, wiens plan om scholen op te richten voor de militaire opleiding van officieren in High Wycombe en Great Marlow eerst op sterke weerstand stuitte vanwege de kosten.
Er bestonden reeds enkele kleine particuliere militaire academies voor aspirant-officieren van de infanterie en de cavalerie, met name een die in Chelsea werd beheerd door Lewis Lochée van ongeveer 1770 tot hij deze in 1790 opdoekte. Maar geen van hen had enige formele goedkeuring van de Britse regering.
In 1799 stichtte Le Marchant een school voor stafofficieren in High Wycombe. In 1801 stemde het Parlement in met een subsidie van 30.000 pond voor zijn ambitieuzere voorstellen, en in 1801 werd de school voor stafofficieren in High Wycombe de Senior Department van het nieuwe Military College. In 1802 opende Le Marchant, na tot eerste luitenant-gouverneur van het College te zijn benoemd, de Junior Department in een groot huis met de naam Remnantz in West Street, Great Marlow, om cadetten op te leiden voor de infanterie- en cavalerieregimenten van het Britse leger en voor de presidentiële legers van Brits-Indië. 1802 was hetzelfde jaar als de oprichting van Saint-Cyr in het Franse leger en van West Point in de Verenigde Staten. Generaal Sir William Harcourt werd benoemd tot de eerste gouverneur van het Royal Military College in Great Marlow en bleef in functie tot 1811. In 1812 verhuisde de juniorafdeling van het college van Great Marlow naar speciaal voor dat doel gebouwde gebouwen in Sandhurst, ontworpen door James Wyatt, en al snel kwam daar ook de seniorafdeling bij, die verhuisde van High Wycombe. In 1858 werd dit een aparte instelling, het Staff College.
Bij het uitbreken van de Tweede Wereldoorlog werden veel van de cadetten en het personeel van het Royal Military College gemobiliseerd voor actieve dienst, maar de gebouwen in Sandhurst bleven de thuisbasis van de 161 Infantry Officer Cadet Training Unit van het RMC. In 1942 verhuisde deze eenheid naar Mons Barracks, Aldershot, en voor de rest van de oorlog werd de Sandhurst campus gebruikt als een Royal Armoured Corps Officer Cadet Training Unit.
In 1947 werd een nieuwe Royal Military Academy Sandhurst gevormd op de plaats van het Royal Military College, een samenvoeging van de Royal Military Academy, Woolwich (die officieren had opgeleid voor de Royal Artillery en Royal Engineers van 1741 tot 1939) en het Royal Military College (1802 tot 1942), met als doel het verstrekken van officiersopleiding voor alle wapens en diensten.