De Colonial Inn ligt op een L-vormig terrein dat in het westen begrensd wordt door Shore Road en in het noorden door Beachmere Lane. De Ogunquit Baptist Church staat ten zuiden van het hoofdgebouw van het hotel, in de boog van de L. Het hoofdgebouw van het hotel is een lang, ruwweg rechthoekig, vier verdiepingen tellend houten framegebouw waarvan de lange zijde uitkijkt op Beachmere Lane. Een portiek van één verdieping strekt zich uit over de lengte van deze gevel, die in het midden een uitspringend gedeelte van drie verdiepingen heeft, en een afgerond gedeelte in de noordoostelijke hoek. De oorsprong van dit gebouw ligt in een Greek Revival woning uit ca. 1850, die tussen de jaren 1880 en ca. 1920 herhaaldelijk werd uitgebreid en vergroot.
Uitbreidend in zuidelijke richting van het oostelijke uiteinde van het hoofdhotel (achter de kerk, gezien vanaf Shore Road) is een modern twee verdiepingen tellend motelblok, gebouwd in 1983. Ten oosten van dit gebouw, vlakbij het zuidelijke uiteinde, staat een tweede twee verdiepingen tellend motelgebouw, oost-west georiënteerd, dat rond 1961 werd gebouwd. Iets ten noorden daarvan staat een cottage uit 1900 in Shingle-stijl, met een hoogte van 1,5 verdiepingen, die naar het oosten gericht is, in de richting van de oceaan. Dit huis was oorspronkelijk de woning van de hoteleigenaar. Het hotel zwembad ligt net ten oosten van het hoofdhotel en ten noorden van het 1983 motel blok.
Het hotel is van historisch belang omdat het de enige overlevende 19e-eeuwse hotel in Ogunquit dat nog steeds dient als een hotel en behoudt zijn historische uitstraling. Andere hotels uit die periode zijn ofwel omgebouwd tot appartementencomplexen of (zoals het naburige Beachmere) overspoeld door moderne verbouwingen. De Colonial Inn eigenschap kapselt een architectonische geschiedenis van toeristische accommodaties in het gebied.