Archeologische overblijfselen wijzen erop dat het eiland 3800-5000 jaar geleden voor het eerst werd bewoond door de Red Paint People. Later werd het Abenaki grondgebied. Europeanen bezochten het in de 16e eeuw en de Engelse kapitein Martin Pring gaf de archipel in 1603 de naam Fox Islands. De eerste permanente Engelse nederzetting vond plaats in 1766 toen Thaddeus Carver uit Marshfield, Massachusetts, arriveerde en later 700 acres (2.8 km2) kocht van Thomas Cogswell op de zuidelijke oever in de buurt van wat bekend zou worden als Carver’s Harbor.
Nog anderen volgden al snel om de afgelegen vissers- en landbouwgemeenschap in de Golf van Maine te stichten. Als de eerste families van Vinalhaven worden beschouwd Arey, Calderwood, Carver, Coombs, Dyer, Ginn, Greem, Hopkins, Lane, Leadbetter, Norton, Philbrook, Pierce, Roberts, Smith, Warren en Vinal. Op 25 juni 1789 werd Vinalhaven ingelijfd als een stad, genoemd naar John Vinal. Vinal was geen inwoner van het eiland, maar slechts de agent die een petitie indiende bij het Maine General Court om de nieuwe gemeente te stichten; desalniettemin bleef de naam hangen. In 1847 scheidde North Fox Island zich af en werd een aparte township genaamd North Haven.
Visserij, scheepsbouw, houtkap en scheepvaart waren belangrijke vroege ondernemingen op Vinalhaven. In 1826 werd hoogwaardig graniet ontdekt, en Vinalhaven werd een van de grootste steengroevecentra van Maine voor de volgende eeuw. Vandaag de dag is het eiland bezaaid met verlaten oude steengroeven, waarvan vele zich sindsdien met grondwater hebben gevuld en populaire zwemplaatsen zijn voor zowel bewoners als bezoekers. Roze-grijs Vinalhaven-graniet, opgegraven door de Bodwell Granite Company, is te zien in het State Department Building in Washington, de Brooklyn Bridge van New York City, en het Union Mutual Life Insurance Building in Boston.
Graniet werd verscheept voor douanehuizen en postkantoren in New York; St. Louis; Kansas City; Buffalo, enz.het spoorwegstation en de Board of Trade in Chicago; het Washington Monument en federale kantoorgebouwen in de hoofdstad; het Pennsylvania Railroad Station en de Masonic Temple in Philadelphia; alsmede particuliere herenhuizen, monumenten, bruggen, dammen, en duizenden tonnen straatklinkers voor de straten van Portland; Boston; New York; Newark; Philadelphia en andere steden. De groeven van Vinalhaven waren de enige die diep genoeg waren om de acht reusachtige gepolijste kolommen te leveren die in de oorspronkelijke plannen voor de apsis van de kathedraal van Saint John the Divine in New York City werden gevraagd; jammer genoeg braken de massieve kolommen onder hun eigen gewicht en uiteindelijk moest meer dan één stuk graniet worden samengevoegd om elke kolom te creëren. De steengroeven leverden ook de funderingsstenen voor de kathedraal.
Een bekende kreeftenvissersgemeenschap, Vinalhaven heeft visrechten op een groot deel van Penobscot Bay en de offshore wateren. Er zijn tien belangrijke visgronden rond Vinalhaven die de vissers van het eiland en sommige vissers van Matinicus Isle al eeuwenlang gebruiken om bodemvissen zoals kabeljauw, schelvis, koolvis, heek, kreeft, sint-jakobsschelp en heilbot te vangen. Garnalen, hondshaai, makreel en haring zijn ook in overvloed aanwezig in de wateren rond Vinalhaven. De kreeftenvissers van Vinalhaven waren de eersten in het land die zich verenigden. Ze begonnen zich te organiseren in de winter van 2012-13, na frustratie over de lage kreeftprijzen die aan hen werden betaald en onenigheid met het leiderschap van de Maine Lobstermen’s Associations.
De film Islander uit 2006 werd deels gefilmd op Vinalhaven; een aantal van de lokale bevolking acteerde in de film.
Vinalhaven kwam in maart 2020 in het nieuws tijdens de COVID-19 crisis nadat een groep eilandbewoners een boom omhakte en deze de weg op sleepte in een poging om drie huisgenoten met out of state kentekenplaten waarvan ze dachten dat ze het virus zouden kunnen hebben, met geweld in quarantaine te plaatsen.
Vinalhaven was het toneel van een bijlmoord in de zomer van 2020.