Colonial Inn ligger på en L-formet ejendom, der afgrænses mod vest af Shore Road og mod nord af Beachmere Lane. Ogunquit Baptist Church står syd for hotellets hovedbygning i L’ets krumning. Hotellets hovedbygning er en lang, nogenlunde rektangulær, fireetagers træskeletbygning i fire etager, hvis langside vender ud mod Beachmere Lane. En veranda i en enkelt etage strækker sig langs denne facade, som har en fremspringende treetagers sektion nær midten og en afrundet sektion i det nordøstlige hjørne. Denne bygnings oprindelse ligger i en græsk revival bolig fra ca. 1850, som gentagne gange blev udvidet og forstørret mellem 1880’erne og ca. 1920.
Sydpå strækkende sig fra den østlige ende af hovedhotellet (bag kirken, set fra Shore Road) ligger en moderne motelblok i to etager, bygget i 1983. Øst for denne bygning, nær dens sydlige ende, står en anden motelbygning i to etager, orienteret øst-vest, som blev bygget omkring 1961. Lige nord herfor ligger et sommerhus i Shingle-stil fra ca. 1900, 1-1½ etage højt, der vender mod øst mod havet. Dette hus var oprindeligt hotelindehaverens bolig. Hotellets swimmingpool ligger lige øst for hovedhotellet og nord for motelblokken fra 1983.
Hotellet er historisk betydningsfuldt, fordi det er det eneste overlevende hotel fra det 19. århundrede i Ogunquit, der stadig fungerer som hotel og har bevaret sit historiske udseende. Andre hoteller fra perioden er enten blevet omdannet til ejerlejligheder eller (som nabohotellet Beachmere) blevet opslugt af moderne ombygninger. Colonial Inn-ejendommen indkapsler en arkitektonisk historie om turistindkvartering i området.