Das Colonial Inn befindet sich auf einem L-förmigen Grundstück, das im Westen von der Shore Road und im Norden von der Beachmere Lane begrenzt wird. Die Ogunquit Baptist Church steht südlich des Hauptgebäudes des Hotels, in der Krümmung des L. Das Hauptgebäude des Hotels ist ein langes, etwa rechteckiges, vierstöckiges Holzrahmengebäude, dessen lange Seite zur Beachmere Lane zeigt. Eine einstöckige Veranda erstreckt sich über die gesamte Länge dieser Fassade, die in der Mitte einen dreistöckigen Vorsprung und an der nordöstlichen Ecke einen abgerundeten Teil aufweist. Die Ursprünge dieses Gebäudes liegen in einem griechisch-revivalistischen Wohnhaus von ca. 1850, das zwischen den 1880er Jahren und ca. 1920 mehrfach erweitert und vergrößert wurde.
Südlich vom östlichen Ende des Haupthotels (hinter der Kirche, von der Shore Road aus gesehen) befindet sich ein modernes zweistöckiges Motelgebäude aus dem Jahr 1983. Östlich von diesem Gebäude, in der Nähe seines südlichen Endes, steht ein zweites zweistöckiges, in Ost-West-Richtung ausgerichtetes Motelgebäude, das etwa 1961 erbaut wurde. Unmittelbar nördlich davon befindet sich ein 1-1/2-stöckiges Haus im Schindelstil aus der Zeit um 1900, das nach Osten zum Meer hin ausgerichtet ist. Dieses Haus war ursprünglich der Wohnsitz des Hotelbesitzers. Der Swimmingpool des Hotels befindet sich östlich des Haupthotels und nördlich des Motelblocks von 1983.
Das Hotel ist historisch bedeutsam, weil es das einzige erhaltene Hotel aus dem 19. Jahrhundert in Ogunquit ist, das noch als Hotel dient und sein historisches Aussehen bewahrt hat. Andere Hotels aus dieser Zeit wurden entweder in Eigentumswohnungen umgewandelt oder (wie das benachbarte Beachmere) durch moderne Umbauten verschluckt. Das Colonial Inn ist ein Beispiel für die architektonische Geschichte von Touristenunterkünften in der Region.