Royal Military College utformades av överste John Le Marchant, vars plan för att etablera skolor för militär utbildning av officerare i High Wycombe och Great Marlow först stötte på starkt motstånd på grund av kostnaderna.
Det fanns redan några små privata militärakademier för blivande infanteri- och kavalleriofficerare, särskilt en som hade drivits i Chelsea av Lewis Lochée från omkring 1770 till dess att han avvecklade den 1790. Men ingen av dem hade något formellt godkännande av den brittiska regeringen.
1799 inrättade Le Marchant en skola för stabsofficerare i High Wycombe. År 1801 röstade parlamentet igenom ett anslag på 30 000 pund för hans mer ambitiösa förslag, och 1801 blev skolan för stabsofficerare i High Wycombe Senior Department of the new Military College. Efter att ha utsetts till collegets första viceguvernör öppnade Le Marchant 1802 dess junioravdelning i ett stort hus vid namn Remnantz i West Street, Great Marlow, för att utbilda kadetter för den brittiska arméns infanteri- och kavalleriregementen och för presidiearméerna i Brittiska Indien. 1802 var samma år som grundandet av Saint-Cyr i den franska armén och West Point i USA. General Sir William Harcourt utsågs till den första guvernören för Royal Military College i Great Marlow och fortsatte på sin post fram till 1811. 1812 flyttade collegets junioravdelning från Great Marlow till specialbyggda byggnader i Sandhurst, ritade av James Wyatt, och fick snart sällskap där av senioravdelningen, som flyttade från High Wycombe. År 1858 blev detta en separat institution, Staff College.
När andra världskriget bröt ut mobiliserades många av kadetterna och personalen vid Royal Military College för aktiv tjänstgöring, men byggnaderna i Sandhurst förblev hemvist för RMC:s 161 Infantry Officer Cadet Training Unit. År 1942 flyttade denna enhet till Mons Barracks, Aldershot, och under resten av kriget användes Sandhurst campus som Royal Armoured Corps Officer Cadet Training Unit.
År 1947 bildades en ny Royal Military Academy Sandhurst på platsen för Royal Military College, där Royal Military Academy, Woolwich (som hade utbildat officerare för det kungliga artilleriet och de kungliga ingenjörerna 1741-1939) och Royal Military College (1802-1942) slogs samman, med målet att tillhandahålla officersutbildning för alla vapen och tjänster.