Archäologische Funde deuten darauf hin, dass die Insel vor 3800-5000 Jahren erstmals von den Red Paint People bewohnt wurde. Später wurde sie zum Gebiet der Abenaki. Die Europäer besuchten die Insel im 16. Jahrhundert, und der englische Kapitän Martin Pring nannte die Inselgruppe 1603 Fox Islands. Die erste dauerhafte englische Siedlung entstand 1766, als Thaddeus Carver aus Marshfield, Massachusetts, ankam und später 700 Acres (2,8 km2) von Thomas Cogswell an der Südküste in der Nähe des späteren Carver’s Harbor erwarb.
Andere folgten bald, um die abgelegene Fischer- und Bauerngemeinde im Golf von Maine zu gründen. Als die ersten Familien von Vinalhaven gelten Arey, Calderwood, Carver, Coombs, Dyer, Ginn, Greem, Hopkins, Lane, Leadbetter, Norton, Philbrook, Pierce, Roberts, Smith, Warren und Vinal. Am 25. Juni 1789 wurde Vinalhaven als Stadt gegründet und nach John Vinal benannt. Vinal war kein Inselbewohner, sondern lediglich der Vertreter, der beim Obersten Gerichtshof von Maine die Gründung der neuen Gemeinde beantragte; dennoch blieb der Name bestehen. Dennoch blieb der Name erhalten. 1847 wurde North Fox Island abgetrennt und zu einer eigenen Gemeinde namens North Haven.
Fischerei, Schiffsbau, Holzeinschlag und Schifffahrt waren wichtige frühe Wirtschaftszweige auf Vinalhaven. Im Jahr 1826 wurde hochwertiger Granit entdeckt, und Vinalhaven wurde im nächsten Jahrhundert zu einem der größten Steinbruchzentren in Maine. Heute ist die Insel übersät mit verlassenen alten Steinbrüchen, von denen sich viele inzwischen mit Grundwasser gefüllt haben und beliebte Badestellen für Einwohner und Besucher gleichermaßen sind. Der rosa-graue Vinalhaven-Granit, der von der Bodwell Granite Company abgebaut wurde, ist im State Department Building in Washington, der Brooklyn Bridge in New York City und dem Union Mutual Life Insurance Building in Boston zu sehen.
Granit wurde für Zollhäuser und Postämter in New York, St. Louis, Kansas City, Buffalo usw. geliefert.den Bahnhof und das Board of Trade in Chicago, das Washington Monument und die Bürogebäude in der Hauptstadt, den Pennsylvania-Bahnhof und den Freimaurertempel in Philadelphia sowie private Villen, Denkmäler, Brücken, Dämme und Tausende von Tonnen Pflastersteine für die Straßen von Portland, Boston, New York, Newark, Philadelphia und anderen Städten. Die Steinbrüche von Vinalhaven waren die einzigen, die tief genug waren, um die acht riesigen polierten Säulen zu liefern, die in den ursprünglichen Plänen für die Apsis der Kathedrale St. John the Divine in New York City vorgesehen waren; leider brachen die massiven Säulen unter ihrem eigenen Gewicht, so dass schließlich mehr als ein Stück Granit für jede Säule zusammengesetzt werden musste. Die Steinbrüche lieferten auch den Grundstein für die Kathedrale.
Vinalhaven ist eine bekannte Hummerfischergemeinde und hat Fischereirechte für einen Großteil der Penobscot Bay und ihrer vorgelagerten Gewässer. Rund um Vinalhaven gibt es zehn große Fischgründe, die von den Fischern der Insel und einigen Fischern der Matinicus Isle seit Jahrhunderten für den Fang von Grundfisch wie Kabeljau, Schellfisch, Seelachs, Seehecht, Hummer, Jakobsmuscheln und Heilbutt genutzt werden. Auch Garnelen, Dornhai, Makrele und Hering sind in den Gewässern um Vinalhaven reichlich vorhanden. Die Hummerfischer von Vinalhaven waren die ersten in der Nation, die sich gewerkschaftlich organisierten. Sie begannen sich im Winter 2012-13 zu organisieren, nachdem sie mit den niedrigen Hummerpreisen, die ihnen gezahlt wurden, unzufrieden waren und Meinungsverschiedenheiten mit der Führung der Maine Lobstermen’s Associations hatten.
Der Film Islander aus dem Jahr 2006 wurde zum Teil auf Vinalhaven gedreht; einige der Einheimischen spielten in dem Film mit.
Vinalhaven machte im März 2020 während der COVID-19-Krise Schlagzeilen, als eine Gruppe von Inselbewohnern einen Baum fällte und auf die Straße schleppte, um drei Mitbewohner mit Nummernschildern aus anderen Bundesstaaten, von denen sie glaubten, dass sie das Virus haben könnten, gewaltsam unter Quarantäne zu stellen.
Vinalhaven war im Sommer 2020 Schauplatz eines Axtmordes.