Colonial Inn ligger på en L-formad fastighet som i väster gränsar till Shore Road och i norr till Beachmere Lane. Ogunquit Baptist Church står söder om hotellets huvudbyggnad, i L:s krök. Hotellets huvudbyggnad är en lång, ungefär rektangulär, fyra våningar hög träramkonstruktion vars långsida vetter mot Beachmere Lane. En envåningsveranda sträcker sig längs denna fasad, som har en utskjutande trevåningsdel nära mitten och en rundad del vid det nordöstra hörnet. Byggnadens ursprung ligger i ett bostadshus i grekisk revival från ca 1850, som upprepade gånger förlängdes och förstorades mellan 1880-talet och ca 1920.
Söderut från huvudhotellets östra ände (bakom kyrkan, sett från Shore Road) sträcker sig ett modernt tvåvåningsmotellblock som byggdes 1983. Öster om denna byggnad, nära dess södra ände, står en andra tvåvåningsmotellbyggnad i öst-västlig riktning som byggdes omkring 1961. Strax norr därom finns en stuga i Shingle-stil från ca 1900, 1-1/2 våning, som vetter österut mot havet. Detta hus var ursprungligen hotellägarens bostad. Hotellets pool ligger strax öster om huvudhotellet och norr om motellblocket från 1983.
Hotellet är historiskt betydelsefullt eftersom det är det enda överlevande 1800-talshotellet i Ogunquit som fortfarande fungerar som hotell och behåller sitt historiska utseende. Andra hotell från perioden har antingen omvandlats till bostadsrätter eller (som grannhotellet Beachmere) uppslukats av moderna ombyggnader. Fastigheten Colonial Inn är ett exempel på en arkitektonisk historia av turistboenden i området.