Des vestiges archéologiques indiquent que l’île a d’abord été habitée il y a 3800-5000 ans par le peuple Red Paint. Plus tard, elle est devenue un territoire abénaki. Les Européens l’ont visitée au 16e siècle, et le capitaine anglais Martin Pring a nommé l’archipel Fox Islands en 1603. Le premier établissement anglais permanent a eu lieu en 1766 lorsque Thaddeus Carver, de Marshfield (Massachusetts), est arrivé et a ensuite acheté 700 acres (2,8 km2) à Thomas Cogswell sur la rive sud, près de ce qui sera connu sous le nom de Carver’s Harbor.
D’autres ont rapidement suivi pour établir la communauté de pêcheurs et d’agriculteurs isolée dans le golfe du Maine. Les premières familles de Vinalhaven sont considérées comme étant Arey, Calderwood, Carver, Coombs, Dyer, Ginn, Greem, Hopkins, Lane, Leadbetter, Norton, Philbrook, Pierce, Roberts, Smith, Warren et Vinal. Le 25 juin 1789, Vinalhaven a été constituée en ville, nommée en l’honneur de John Vinal. Vinal n’était pas un résident de l’île, mais simplement l’agent qui a demandé à la Cour générale du Maine d’incorporer le nouveau canton ; néanmoins, le nom est resté. En 1847, l’île North Fox a fait sécession et est devenue un canton distinct appelé North Haven.
La pêche, la construction navale, l’exploitation forestière et le transport maritime étaient des entreprises importantes au début de Vinalhaven. Du granit de haute qualité a été découvert en 1826, et Vinalhaven est devenu l’un des plus grands centres d’extraction du Maine pendant le siècle suivant. Aujourd’hui, l’île est parsemée d’anciennes carrières abandonnées, dont beaucoup se sont depuis remplies d’eau souterraine et sont des lieux de baignade populaires pour les résidents et les visiteurs. Le granit gris rosâtre de Vinalhaven, excavé par la Bodwell Granite Company, peut être vu dans le State Department Building de Washington, le pont de Brooklyn de New York et le Union Mutual Life Insurance Building de Boston.
Le granit a été expédié pour les maisons de douane et les bureaux de poste de New York ; St. Louis ; Kansas City ; Buffalo, etc.; la gare ferroviaire et le Board of Trade de Chicago ; le Washington Monument et les immeubles de bureaux fédéraux de la capitale ; la gare ferroviaire de Pennsylvanie et le temple maçonnique de Philadelphie ; ainsi que des demeures privées, des monuments, des ponts, des barrages et des milliers de tonnes de pavés pour les rues de Portland ; Boston ; New York ; Newark ; Philadelphie et d’autres villes. Les carrières de Vinalhaven étaient les seules suffisamment profondes pour fournir les huit énormes colonnes polies demandées dans les plans originaux de l’abside de la cathédrale de Saint John the Divine à New York City ; malheureusement, les colonnes massives se sont brisées sous leur propre poids et, en fin de compte, plusieurs morceaux de granit ont dû être assemblés pour créer chaque colonne. Les carrières ont également fourni la pierre de fondation de la cathédrale.
Communauté réputée pour la pêche au homard, Vinalhaven possède des droits de pêche sur une grande partie de la baie de Penobscot et de ses eaux au large. Il existe dix grands lieux de pêche autour de Vinalhaven que les pêcheurs de l’île et certains pêcheurs de Matinicus Isle utilisent depuis des siècles pour capturer des poissons de fond tels que la morue, l’églefin, la goberge, le merlu, le homard, les pétoncles et le flétan. Les crevettes, les roussettes, les maquereaux et les harengs sont également abondants dans les eaux entourant Vinalhaven. Les homardiers de Vinalhaven ont été les premiers du pays à se syndiquer. Ils ont commencé à s’organiser au cours de l’hiver 2012-2013, après avoir été frustrés par les faibles prix du homard qui leur étaient payés et des désaccords avec la direction de la Maine Lobstermen’s Associations.
Le film Islander de 2006 a été tourné, en partie, à Vinalhaven ; certains des locaux ont joué dans le film.
Vinalhaven a fait l’actualité en mars 2020 lors de la crise du COVID-19 après qu’un groupe de résidents de l’île ait coupé un arbre et l’ait traîné sur la route pour tenter de mettre en quarantaine de force trois colocataires dont les plaques d’immatriculation ne provenaient pas de l’État et qui, selon eux, pouvaient avoir le virus.
Vinalhaven a été le théâtre d’un meurtre à la hache durant l’été 2020.