Restos arqueológicos indicam que a ilha foi habitada pela primeira vez há 3800-5000 anos pelo Povo da Tinta Vermelha. Mais tarde, tornou-se território Abenaki. Os europeus visitaram a ilha no século XVI, e o Capitão inglês Martin Pring deu o nome de Ilhas Fox do arquipélago em 1603. O primeiro assentamento inglês permanente ocorreu em 1766 quando Thaddeus Carver de Marshfield, Massachusetts, chegou, e mais tarde comprou 700 acres (2,8 km2) de Thomas Cogswell na costa sul, perto do que ficaria conhecido como Carver’s Harbor.
Outros logo se seguiram para estabelecer a remota comunidade pesqueira e agrícola no Golfo do Maine. As primeiras famílias de Vinalhaven são consideradas como Arey, Calderwood, Carver, Coombs, Dyer, Ginn, Greem, Hopkins, Lane, Leadbetter, Norton, Philbrook, Pierce, Roberts, Smith, Warren e Vinal. Em 25 de junho de 1789, Vinalhaven foi incorporada como uma cidade, nomeada por John Vinal. Vinal não era um residente da ilha, apenas o agente que solicitou à Corte Geral do Maine para incorporar o novo município; no entanto, o nome ficou preso. Em 1847, a Ilha Raposa Norte se seccionou e se tornou um município separado chamado North Haven.
Pesca, construção naval, exploração madeireira e transporte marítimo foram importantes negócios no início de Vinalhaven. O granito de alta qualidade foi descoberto em 1826, e Vinalhaven tornou-se um dos maiores centros de extração do Maine para o século seguinte. Hoje a ilha está repleta de antigas pedreiras abandonadas, muitas das quais desde então estão cheias de águas subterrâneas e são buracos de natação populares tanto para os residentes como para os visitantes. O granito Vinalhaven cinza-rosado, escavado pela Bodwell Granite Company, pode ser visto no Edifício do Departamento de Estado em Washington, na Ponte do Brooklyn, em Nova York, e no Edifício da Union Mutual Life Insurance em Boston.
Granite foi enviado para alfândegas e correios em Nova York; St. Louis; Kansas City; Buffalo, etc.A estação ferroviária e a Câmara de Comércio em Chicago; o Monumento Washington e edifícios de escritórios federais na capital; a estação ferroviária da Pensilvânia e o Templo Maçônico na Filadélfia; assim como mansões privadas, monumentos, pontes, represas e milhares de toneladas de blocos de pavimento para as ruas de Portland; Boston; Nova York; Newark; Filadélfia e outras cidades. As pedreiras de Vinalhaven eram as únicas com profundidade suficiente para fornecer as oito enormes colunas polidas exigidas nos planos originais para a abside da Catedral de São João Divino em Nova Iorque; infelizmente as enormes colunas quebraram sob seu próprio peso, e finalmente mais de um pedaço de granito teve que ser colocado junto para criar cada coluna. As pedreiras também forneceram a pedra fundamental para a catedral.
Uma notável comunidade de pescadores de lagosta, Vinalhaven tem direitos de pesca para grande parte da Penobscot Bay e suas águas offshore. Existem dez grandes bancos de pesca em torno de Vinalhaven que os pescadores da ilha e alguns pescadores da Ilha Matinicus têm usado durante séculos para capturar peixes de fundo como bacalhau, arinca, escamudo, pescada, lagosta, vieiras e alabote. Camarão, cação, cavala e arenque também são abundantes nas águas em torno de Vinalhaven. Os lagostermes de Vinalhaven foram os primeiros na nação a unirem-se. Eles começaram a se organizar no inverno de 2012-13, após a frustração com os baixos preços da lagosta sendo pagos a eles e desacordos com a liderança das Associações de Lobstermen do Maine.
O filme Islander 2006 foi filmado, em parte, em Vinalhaven; alguns dos habitantes locais atuaram no filme.
Vinalhaven fez notícia em março de 2020 durante a crise da COVID-19, depois que um grupo de moradores da ilha cortou uma árvore e a arrastou para a estrada, numa tentativa de colocar à força três companheiros de quarto com placas fora do estado que eles acreditavam que poderiam ter o vírus.
Vinalhaven foi o local de um assassinato com machado no verão de 2020.