Colonial Inn sijaitsee L-kirjaimen muotoisella tontilla, joka rajoittuu lännessä Shore Roadiin ja pohjoisessa Beachmere Laneen. Ogunquitin baptistikirkko sijaitsee hotellin päärakennuksen eteläpuolella, L-kirjaimen kupeessa. Hotellin päärakennus on pitkä, suunnilleen suorakaiteen muotoinen, nelikerroksinen puurunkoinen rakennus, jonka pitkä sivu on Beachmere Lanelle päin. Yksikerroksinen kuisti ulottuu pitkin tätä julkisivua, jonka keskellä on ulkoneva kolmikerroksinen osa ja koilliskulmassa pyöreä osa. Rakennus on peräisin noin 1850-luvun kreikkalaisperäisestä asuintalosta, jota laajennettiin ja suurennettiin useaan otteeseen 1880-luvun ja noin 1920-luvun välisenä aikana.
Päähotellin itäpäädystä etelään päin (kirkon takana Shore Roadilta katsottuna) on moderni kaksikerroksinen motellirakennus, joka on rakennettu vuonna 1983. Tämän rakennuksen itäpuolella, lähellä sen eteläpäätä, seisoo toinen kaksikerroksinen, itä-länsisuuntainen motellirakennus, joka on rakennettu noin vuonna 1961. Aivan sen pohjoispuolella on noin vuonna 1900 rakennettu, 1-1/2-kerroksinen shingle-tyylinen mökki, joka on suunnattu itään kohti merta. Tämä talo oli alun perin hotellin omistajan asunto. Hotellin uima-allas sijaitsee päärakennuksen itäpuolella ja vuoden 1983 motellikorttelin pohjoispuolella.
Hotelli on historiallisesti merkittävä, koska se on ainoa säilynyt 1800-luvun hotelli Ogunquitissa, joka toimii edelleen hotellina ja on säilyttänyt historiallisen ilmeensä. Muut aikakauden hotellit on joko muutettu omistusasunnoiksi tai (kuten naapurissa sijaitseva Beachmere) jäänyt modernien muutostöiden alle. Colonial Inn -kiinteistö kiteyttää alueen matkailumajoitusten arkkitehtonisen historian.