Pomysłodawcą Królewskiego Kolegium Wojskowego był pułkownik John Le Marchant, którego plan założenia szkół dla wojskowych oficerów w High Wycombe i Great Marlow spotkał się najpierw z silnym oporem ze względu na koszty.
Istniało już kilka małych prywatnych akademii wojskowych dla aspirujących oficerów piechoty i kawalerii, zwłaszcza jedna, która była prowadzona w Chelsea przez Lewisa Lochée od około 1770 roku aż do jej likwidacji w 1790 roku. Ale żadna z nich nie miała formalnego zatwierdzenia przez rząd brytyjski.
W 1799 roku Le Marchant założył szkołę dla oficerów sztabowych w High Wycombe. W 1801 roku Parlament przegłosował dotację w wysokości 30 000 funtów na jego bardziej ambitne propozycje, a w 1801 roku szkoła dla oficerów sztabowych w High Wycombe stała się Starszym Wydziałem nowego Military College. W 1802 roku, po mianowaniu na pierwszego gubernatora porucznika Kolegium, Le Marchant otworzył jego młodszy wydział w dużym domu Remnantz przy West Street w Great Marlow, aby szkolić kadetów dla pułków piechoty i kawalerii Armii Brytyjskiej oraz dla wojsk prezydencyjnych w Indiach Brytyjskich. Rok 1802 był tym samym rokiem, w którym założono Saint-Cyr w armii francuskiej i West Point w Stanach Zjednoczonych. Generał Sir William Harcourt został mianowany pierwszym gubernatorem Royal Military College w Great Marlow i pozostał na stanowisku do 1811 r. W 1812 r. Młodszy Wydział Kolegium przeniósł się z Great Marlow do specjalnie wybudowanych budynków w Sandhurst, zaprojektowanych przez Jamesa Wyatta, a wkrótce dołączył do niego Wydział Starszy, migrujący z High Wycombe. W 1858 roku stał się on oddzielną instytucją, Staff College.
W momencie wybuchu II wojny światowej wielu kadetów i pracowników Royal Military College zostało zmobilizowanych do czynnej służby, ale budynki w Sandhurst pozostały domem dla 161 Jednostki Szkolenia Kadetów Oficerów Piechoty RMC. W 1942 roku jednostka ta przeniosła się do Mons Barracks, Aldershot, a przez resztę wojny kampus Sandhurst był wykorzystywany jako jednostka szkoleniowa kadetów oficerów Królewskiego Korpusu Pancernego.
W 1947 roku na miejscu Royal Military College utworzono nową Royal Military Academy Sandhurst, łącząc Royal Military Academy, Woolwich (która szkoliła oficerów dla Królewskiej Artylerii i Królewskich Inżynierów od 1741 do 1939 roku) oraz Royal Military College (od 1802 do 1942 roku), mając na celu zapewnienie szkolenia oficerskiego dla wszystkich broni i służb.
.