Arkæologiske levn tyder på, at øen blev beboet for første gang for 3800-5000 år siden af Red Paint-folket. Senere blev det Abenaki-territorium. Europæere besøgte øen i det 16. århundrede, og den engelske kaptajn Martin Pring gav øgruppen navnet Fox Islands i 1603. Den første permanente engelske bosættelse fandt sted i 1766, da Thaddeus Carver fra Marshfield, Massachusetts, ankom og senere købte 700 acres (2,8 km2) af Thomas Cogswell på den sydlige kyst nær det, der blev kendt som Carver’s Harbor.
Andre fulgte snart efter og etablerede det afsidesliggende fiskeri- og landbrugssamfund i Maine-bugten. De første familier i Vinalhaven anses for at være Arey, Calderwood, Carver, Coombs, Dyer, Ginn, Ginn, Greem, Hopkins, Lane, Leadbetter, Norton, Philbrook, Pierce, Roberts, Smith, Warren og Vinal. Den 25. juni 1789 blev Vinalhaven indregistreret som en by, opkaldt efter John Vinal. Vinal boede ikke på øen, men var blot den agent, der indgav en anmodning til Maine General Court om at inkorporere det nye township, men navnet blev ikke desto mindre fastholdt. I 1847 udskilte North Fox Island sig og blev et separat township kaldet North Haven.
Fiskeri, skibsbygning, skovhugst og skibsfart var vigtige tidlige erhverv på Vinalhaven. Granit af høj kvalitet blev opdaget i 1826, og Vinalhaven blev et af Maines største stenbrydningscentre i det næste århundrede. I dag er øen spækket med forladte gamle stenbrud, hvoraf mange siden er blevet fyldt med grundvand og er populære svømmehuller for både indbyggere og besøgende. Pinkgrå granit fra Vinalhaven, der blev udgravet af Bodwell Granite Company, kan ses i State Department Building i Washington, New York Citys Brooklyn Bridge og Union Mutual Life Insurance Building i Boston.
Granit blev sendt til toldhuse og postkontorer i New York; St. Louis; Kansas City; Buffalo osv.; jernbanestationen og Board of Trade i Chicago; Washington Monument og føderale kontorbygninger i hovedstaden; Pennsylvania Railroad Station og Masonic Temple i Philadelphia; samt private palæer, monumenter, broer, dæmninger og tusindvis af tons brosten til gaderne i Portland; Boston; New York; New York; Newark; Philadelphia og andre byer. Vinalhaven-bruddene var de eneste stenbrud, der var dybe nok til at levere de otte store polerede søjler, som de oprindelige planer for apsis i Saint John the Divine-katedralen i New York krævede; desværre knækkede de massive søjler under deres egen vægt, og i sidste ende måtte der sættes mere end ét granitstykke sammen for at skabe hver enkelt søjle. Stenbruddene leverede også grundsten til katedralen.
Vinalhaven er et kendt hummerfiskersamfund og har fiskerirettigheder til en stor del af Penobscot Bay og dens kystnære farvande. Der er ti større fiskepladser omkring Vinalhaven, som øens fiskere og nogle fiskere fra Matinicus Isle har brugt i århundreder til at fange bundfisk som torsk, kuller, lubbe, kulmule, hummer, kammuslinger og helleflynder. Rejer, pighaj, makrel og sild findes også i rigelige mængder i farvandene omkring Vinalhaven. Hummerfiskerne i Vinalhaven var de første i landet til at organisere sig fagforeningsmæssigt. De begyndte at organisere sig i vinteren 2012-13 efter frustration over de lave hummerpriser, de fik udbetalt, og efter uenighed med ledelsen af Maine Lobstermen’s Associations.
Filmen Islander fra 2006 blev delvist optaget på Vinalhaven; nogle af de lokale spillede med i filmen.
Vinalhaven kom i nyhederne i marts 2020 under COVID-19-krisen, efter at en gruppe øboere fældede et træ og slæbte det ud på vejen i et forsøg på at tvinge tre bofæller med nummerplader uden for staten, som de mente kunne have viruset, i karantæne.
Vinalhaven var skueplads for et økse-mord i sommeren 2020.