El Real Colegio Militar fue concebido por el coronel John Le Marchant, cuyo plan para establecer escuelas para la instrucción militar de oficiales en High Wycombe y Great Marlow encontró primero una fuerte resistencia por motivos de coste.
Ya existían algunas pequeñas academias militares privadas para aspirantes a oficiales de infantería y caballería, en particular una que había sido operada en Chelsea por Lewis Lochée desde alrededor de 1770 hasta que la cerró en 1790. Pero ninguna de ellas contaba con la aprobación formal del gobierno británico.
En 1799, Le Marchant estableció una escuela para oficiales de Estado Mayor en High Wycombe. En 1801, el Parlamento votó una subvención de 30.000 libras para sus propuestas más ambiciosas, y en 1801 la escuela para oficiales de Estado Mayor en High Wycombe se convirtió en el Departamento Superior del nuevo Colegio Militar. En 1802, tras ser nombrado primer vicegobernador del Colegio, Le Marchant abrió su Departamento Junior en una gran casa llamada Remnantz en West Street, Great Marlow, para formar a caballeros cadetes para los regimientos de infantería y caballería del ejército británico y para los ejércitos de la presidencia de la India británica. 1802 fue el mismo año de la fundación de Saint-Cyr del ejército francés y de West Point en los Estados Unidos. El general Sir William Harcourt fue nombrado primer gobernador del Royal Military College en Great Marlow y continuó en su puesto hasta 1811.En 1812, el Departamento Junior del College se trasladó de Great Marlow a edificios construidos expresamente en Sandhurst, diseñados por James Wyatt, y pronto se le unió allí el Departamento Senior, trasladado desde High Wycombe. En 1858 se convirtió en una institución separada, la Escuela de Estado Mayor.
Al estallar la Segunda Guerra Mundial, muchos de los cadetes y el personal del Real Colegio Militar fueron movilizados para el servicio activo, pero los edificios de Sandhurst siguieron siendo el hogar de la 161 Unidad de Formación de Oficiales de Infantería del RMC. En 1942, esta unidad se trasladó a Mons Barracks, Aldershot, y durante el resto de la guerra el campus de Sandhurst se utilizó como Unidad de Formación de Cadetes de Oficiales del Real Cuerpo de Blindados.
En 1947, se formó una nueva Real Academia Militar de Sandhurst en el emplazamiento del Real Colegio Militar, fusionando la Real Academia Militar de Woolwich (que había formado a oficiales para la Real Artillería y los Reales Ingenieros desde 1741 hasta 1939) y el Real Colegio Militar (1802 a 1942), con el objetivo de proporcionar formación de oficiales para todas las armas y servicios.