Il Royal Military College fu concepito dal colonnello John Le Marchant, il cui progetto di creare scuole per l’istruzione militare degli ufficiali a High Wycombe e Great Marlow incontrò inizialmente una forte resistenza per motivi di costo.
Esistevano già alcune piccole accademie militari private per aspiranti ufficiali di fanteria e cavalleria, in particolare una che era stata gestita a Chelsea da Lewis Lochée dal 1770 circa fino alla sua chiusura nel 1790. Ma nessuna di esse ebbe un’approvazione formale da parte del governo britannico.
Nel 1799, Le Marchant fondò una scuola per ufficiali di stato maggiore a High Wycombe. Nel 1801, il Parlamento votò una sovvenzione di 30.000 sterline per le sue proposte più ambiziose, e nel 1801 la scuola per ufficiali di stato maggiore a High Wycombe divenne il Dipartimento Superiore del nuovo Collegio Militare. Nel 1802, dopo essere stato nominato primo Luogotenente Governatore del Collegio, Le Marchant aprì il suo Dipartimento Junior in una grande casa chiamata Remnantz in West Street, Great Marlow, per formare cadetti gentiluomini per i reggimenti di fanteria e cavalleria dell’esercito britannico e per gli eserciti della presidenza dell’India britannica. Il 1802 fu lo stesso anno della fondazione di Saint-Cyr dell’esercito francese e di West Point negli Stati Uniti. Il generale Sir William Harcourt fu nominato primo governatore del Royal Military College a Great Marlow e continuò a ricoprire l’incarico fino al 1811. Nel 1812, il Dipartimento Junior del College si trasferì da Great Marlow in edifici appositamente costruiti a Sandhurst progettati da James Wyatt, e fu presto raggiunto dal Dipartimento Senior, migrato da High Wycombe. Nel 1858 questo divenne un’istituzione separata, lo Staff College.
Allo scoppio della seconda guerra mondiale, molti dei cadetti e del personale del Royal Military College furono mobilitati per il servizio attivo, ma gli edifici di Sandhurst rimasero la sede della 161 Infantry Officer Cadet Training Unit del RMC. Nel 1942, questa unità si trasferì a Mons Barracks, Aldershot, e per il resto della guerra il campus di Sandhurst fu utilizzato come Royal Armoured Corps Officer Cadet Training Unit.
Nel 1947, una nuova Royal Military Academy Sandhurst fu formata sul sito del Royal Military College, fondendo la Royal Military Academy, Woolwich (che aveva addestrato ufficiali per la Royal Artillery e il Royal Engineers dal 1741 al 1939) e il Royal Military College (dal 1802 al 1942), con l’obiettivo di fornire la formazione degli ufficiali per tutte le armi e servizi.