Hotel Colonial Inn se nachází na pozemku ve tvaru písmene L, který na západě ohraničuje silnice Shore Road a na severu ulice Beachmere Lane. Baptistický kostel Ogunquit stojí jižně od hlavní hotelové budovy, v ohybu písmene L. Hlavní hotelová budova je dlouhá, zhruba obdélníková, čtyřpodlažní dřevěná rámová stavba, jejíž delší strana směřuje do ulice Beachmere Lane. Po celé délce této fasády se táhne jednopatrová veranda, která má poblíž svého středu vystupující třípatrovou část a v severovýchodním rohu zaoblenou část. Původ této budovy spočívá v řecko-renesanční rezidenci z doby kolem roku 1850, která byla v období od 80. let 19. století do roku 1920 opakovaně rozšiřována a dostavována.
Jižním směrem od východního konce hlavního hotelu (za kostelem, při pohledu ze Shore Road) se rozkládá moderní dvoupodlažní blok motelu, postavený v roce 1983. Východně od této budovy, poblíž jejího jižního konce, stojí druhý dvoupodlažní objekt motelu, orientovaný ve směru východ-západ, který byl postaven kolem roku 1961. Severně od ní se nachází chata ve stylu šindelů z roku 1900, vysoká 1-1/2 patra, která je orientována na východ směrem k oceánu. Tento dům byl původně sídlem majitele hotelu. Hotelový bazén se nachází východně od hlavního hotelu a severně od bloku motelu z roku 1983.
Hotel je historicky významný, protože je jediným dochovaným hotelem z 19. století v Ogunquitu, který stále slouží jako hotel a zachoval si svůj historický vzhled. Ostatní hotely z tohoto období byly buď přestavěny na kondominia, nebo (jako sousední Beachmere) pohlceny moderními úpravami. Objekt Colonial Inn v sobě zahrnuje architektonickou historii turistických ubytovacích zařízení v oblasti.