Das Royal Military College wurde von Colonel John Le Marchant erdacht, dessen Plan, Schulen für die militärische Ausbildung von Offizieren in High Wycombe und Great Marlow zu errichten, zunächst auf starken Widerstand aus Kostengründen stieß.
Es gab bereits einige kleine private Militärakademien für angehende Infanterie- und Kavallerieoffiziere, insbesondere eine, die von Lewis Lochée in Chelsea von etwa 1770 bis zu ihrer Auflösung im Jahr 1790 betrieben wurde. Aber keine von ihnen war von der britischen Regierung offiziell anerkannt.
1799 gründete Le Marchant in High Wycombe eine Schule für Stabsoffiziere. 1801 bewilligte das Parlament einen Zuschuss von 30.000 Pfund für seine ehrgeizigeren Vorschläge, und 1801 wurde die Schule für Stabsoffiziere in High Wycombe zur Hauptabteilung des neuen Military College. Nachdem Le Marchant 1802 zum ersten Gouverneursleutnant des Colleges ernannt worden war, eröffnete er in einem großen Haus namens Remnantz in der West Street, Great Marlow, die Juniorabteilung des Colleges, um Kadetten für die Infanterie- und Kavallerieregimenter der britischen Armee und für die Präsidialarmeen von Britisch-Indien auszubilden. 1802 war das gleiche Jahr wie die Gründung von Saint-Cyr in der französischen Armee und von West Point in den Vereinigten Staaten. General Sir William Harcourt wurde zum ersten Gouverneur des Royal Military College in Great Marlow ernannt und übte dieses Amt bis 1811 aus. 1812 zog die Juniorabteilung des College von Great Marlow in eigens von James Wyatt entworfene Gebäude in Sandhurst um und wurde bald darauf von der Seniorabteilung übernommen, die aus High Wycombe umzog. Bei Ausbruch des Zweiten Weltkriegs wurden viele der Kadetten und Mitarbeiter des Royal Military College für den aktiven Dienst mobilisiert, aber die Gebäude in Sandhurst blieben die Heimat der 161 Infantry Officer Cadet Training Unit des RMC. Im Jahr 1942 zog diese Einheit in die Mons Barracks in Aldershot um, und für den Rest des Krieges wurde der Sandhurst-Campus als Royal Armoured Corps Officer Cadet Training Unit genutzt.
Im Jahr 1947 wurde auf dem Gelände des Royal Military College die neue Royal Military Academy Sandhurst gegründet, in der die Royal Military Academy Woolwich (die von 1741 bis 1939 Offiziere für die Royal Artillery und die Royal Engineers ausgebildet hatte) und das Royal Military College (1802 bis 1942) zusammengelegt wurden, um die Offiziersausbildung für alle Waffen und Dienste zu gewährleisten.