Le Colonial Inn est situé sur une propriété en forme de L bordée à l’ouest par Shore Road et au nord par Beachmere Lane. L’église baptiste d’Ogunquit se trouve au sud du bâtiment principal de l’hôtel, dans le creux du L. Le bâtiment principal de l’hôtel est une longue structure à ossature de bois de quatre étages, à peu près rectangulaire, dont le côté long fait face à Beachmere Lane. Un porche d’un étage s’étend sur toute la longueur de cette façade, qui comporte une section saillante de trois étages près de son centre, et une section arrondie à l’angle nord-est. Les origines de ce bâtiment se trouvent dans une résidence néo-grecque datant d’environ 1850, qui a été agrandie à plusieurs reprises entre les années 1880 et environ 1920.
S’étendant vers le sud à partir de l’extrémité est de l’hôtel principal (derrière l’église, vu de Shore Road) se trouve un bloc motel moderne de deux étages, construit en 1983. À l’est de ce bâtiment, près de son extrémité sud, se trouve une deuxième structure de motel de deux étages, orientée est-ouest, qui a été construite vers 1961. Juste au nord de ce bâtiment se trouve un cottage de style Shingle datant de 1900, d’un étage et demi de hauteur, orienté vers l’est et vers l’océan. Cette maison était à l’origine la résidence du propriétaire de l’hôtel. La piscine de l’hôtel est située juste à l’est de l’hôtel principal et au nord du bloc de motels de 1983.
L’hôtel est historiquement important parce que c’est le seul hôtel du 19e siècle qui subsiste à Ogunquit et qui sert encore d’hôtel et conserve son apparence historique. D’autres hôtels de cette période ont été convertis en condominiums ou (comme le Beachmere voisin) ont été engloutis par des transformations modernes. La propriété du Colonial Inn incarne l’histoire architecturale des hébergements touristiques de la région.