El Colonial Inn está situado en una propiedad en forma de L que limita al oeste con Shore Road y al norte con Beachmere Lane. La Iglesia Bautista de Ogunquit se encuentra al sur del edificio principal del hotel, en la curva de la L. El edificio principal del hotel es una estructura de madera de cuatro pisos, larga y aproximadamente rectangular, cuyo lado largo da a Beachmere Lane. Un porche de una sola planta se extiende a lo largo de esta fachada, que tiene una sección saliente de tres pisos cerca de su centro, y una sección redondeada en la esquina noreste. Los orígenes de este edificio se remontan a una residencia de estilo griego de hacia 1850, que fue ampliada en varias ocasiones entre la década de 1880 y hacia 1920.
Desde el extremo oriental del hotel principal (detrás de la iglesia, visto desde Shore Road) se extiende hacia el sur un moderno bloque de motel de dos plantas, construido en 1983. Al este de este edificio, cerca de su extremo sur, se encuentra una segunda estructura de motel de dos pisos, orientada de este a oeste, que fue construida alrededor de 1961. Justo al norte se encuentra una casa de campo de estilo Shingle del año 1900, de un piso y medio de altura, que está orientada hacia el este, hacia el océano. Esta casa era originalmente la residencia del propietario del hotel. La piscina del hotel está situada justo al este del hotel principal y al norte del bloque del motel de 1983.
El hotel es históricamente significativo porque es el único hotel del siglo XIX que sobrevive en Ogunquit que todavía funciona como hotel y conserva su aspecto histórico. Otros hoteles de la época han sido convertidos en condominios o (como el vecino Beachmere) han sido engullidos por alteraciones modernas. La propiedad del Colonial Inn resume la historia arquitectónica de los alojamientos turísticos de la zona.