The Royal Military College blev udtænkt af oberst John Le Marchant, hvis plan om at oprette skoler til militærundervisning af officerer i High Wycombe og Great Marlow først mødte stærk modstand på grund af omkostningerne.
Der fandtes allerede nogle små private militærakademier for aspirerende infanteri- og kavaleriofficerer, bl.a. et, der havde været drevet i Chelsea af Lewis Lochée fra omkring 1770, indtil han afviklede det i 1790. Men ingen af dem havde nogen formel godkendelse fra den britiske regering.
I 1799 oprettede Le Marchant en skole for stabsofficerer i High Wycombe. I 1801 vedtog parlamentet en bevilling på 30.000 pund til hans mere ambitiøse forslag, og i 1801 blev skolen for stabsofficerer i High Wycombe til Senior Department of the new Military College. I 1802, efter at Le Marchant var blevet udnævnt til den første løjtnant guvernør for kollegiet, åbnede han dets juniorafdeling i et stort hus kaldet Remnantz i West Street, Great Marlow, for at uddanne gentleman-kadetter til den britiske hærs infanteri- og kavaleriregimenter og til præsidentskabshærene i Britisk Indien. 1802 var samme år som oprettelsen af Saint-Cyr i den franske hær og West Point i USA. General Sir William Harcourt blev udnævnt som den første guvernør for Royal Military College i Great Marlow og fortsatte på posten indtil 1811. I 1812 flyttede kollegiets juniorafdeling fra Great Marlow til specialbyggede bygninger i Sandhurst, der var designet af James Wyatt, og fik snart selskab af seniorafdelingen, der flyttede fra High Wycombe. I 1858 blev dette til en separat institution, Staff College.
Da Anden Verdenskrig brød ud, blev mange af kadetterne og personalet på Royal Military College mobiliseret til aktiv tjeneste, men bygningerne på Sandhurst forblev hjemsted for RMC’s 161 Infantry Officer Cadet Training Unit. I 1942 flyttede denne enhed til Mons Barracks i Aldershot, og i resten af krigen blev Sandhurst campus brugt som Royal Armoured Corps Officer Cadet Training Unit.
I 1947 blev der dannet et nyt Royal Military Academy Sandhurst på stedet for Royal Military College, hvor Royal Military Academy, Woolwich (som havde uddannet officerer til Royal Artillery og Royal Engineers fra 1741 til 1939) og Royal Military College (1802 til 1942) blev slået sammen med det formål at tilbyde officersuddannelse for alle våben og tjenester.