Arkeologiska lämningar tyder på att ön beboddes för första gången för 3800-5000 år sedan av Red Paint People. Senare blev det Abenaki-territorium. Européer besökte ön på 1500-talet, och den engelske kaptenen Martin Pring gav skärgården namnet Fox Islands år 1603. Den första permanenta engelska bosättningen skedde 1766 när Thaddeus Carver från Marshfield, Massachusetts, anlände och senare köpte 700 acres (2,8 km2) av Thomas Cogswell på den södra stranden nära det som skulle bli känt som Carver’s Harbor.
Andra följde snart efter för att etablera det avlägsna fiskesamhället och jordbrukssamhället i Maineviken. De första familjerna i Vinalhaven anses vara Arey, Calderwood, Carver, Coombs, Dyer, Ginn, Greem, Hopkins, Lane, Leadbetter, Norton, Philbrook, Pierce, Roberts, Smith, Warren och Vinal. Den 25 juni 1789 blev Vinalhaven en stad, uppkallad efter John Vinal. Vinal var inte en av öns invånare, utan bara den agent som ansökte hos Maine General Court om att få inkorporera den nya kommunen, men namnet fastnade ändå. År 1847 avskiljdes North Fox Island och blev en separat township med namnet North Haven.
Fiske, skeppsbyggnad, skogsavverkning och sjöfart var viktiga tidiga verksamheter på Vinalhaven. Granit av hög kvalitet upptäcktes 1826 och Vinalhaven blev ett av Maines största stenbrottscentra under nästa århundrade. Idag är ön översållad med övergivna gamla stenbrott, varav många sedan dess har fyllts med grundvatten och är populära badplatser för både invånare och besökare. Rosa-grå granit från Vinalhaven, som bröts av Bodwell Granite Company, kan ses i State Department Building i Washington, New York Citys Brooklyn Bridge och Union Mutual Life Insurance Building i Boston.
Granit skickades till tullhus och postkontor i New York, St Louis, Kansas City, Buffalo osv.; järnvägsstationen och Board of Trade i Chicago; Washingtonmonumentet och federala kontorsbyggnader i huvudstaden; Pennsylvania Railroad Station och Masonic Temple i Philadelphia; samt privata herrgårdar, monument, broar, dammar och tusentals ton gatstenar för gatorna i Portland; Boston; New York; Newark; Philadelphia och andra städer. Vinalhavens stenbrott var de enda som var tillräckligt djupa för att ge de åtta enorma polerade kolonner som krävdes i de ursprungliga planerna för absiden i Saint John the Divine-katedralen i New York. Tyvärr gick de massiva kolonnerna sönder under sin egen tyngd, och i slutändan var man tvungen att sätta ihop mer än ett stycke granit för att skapa varje kolonn. Stenbrotten levererade också grundstenar till katedralen.
Vinalhaven är ett känt hummerfiskesamhälle och har fiskerättigheter till en stor del av Penobscot Bay och dess havsvatten. Det finns tio större fiskeplatser runt Vinalhaven som öns fiskare och vissa fiskare från Matinicus Isle har använt i århundraden för att fånga sådana bottenfiskar som torsk, kolja, pollock, kummel, hummer, pilgrimsmusslor och hälleflundra. Det finns också gott om räkor, hundfisken, makrill och sill i vattnen runt Vinalhaven. Hummerfiskarna i Vinalhaven var de första i landet som organiserade sig fackligt. De började organisera sig vintern 2012-13, efter frustration över de låga hummerpriser som betalades ut till dem och oenighet med ledningen för Maine Lobstermen’s Associations.
Filmen Islander från 2006 spelades delvis in på Vinalhaven; några av lokalbefolkningen medverkade i filmen.
Vinalhaven fick nyheter i mars 2020 under COVID-19-krisen efter att en grupp öbor högg ner ett träd och släpade ut det på vägen i ett försök att tvinga i karantän tre rumskamrater med registreringsskyltar från andra stater som de trodde kunde ha viruset.
Vinalhaven var platsen för ett yxmord sommaren 2020.