Archeologické nálezy ukazují, že ostrov byl poprvé osídlen před 3800-5000 lety lidem Red Paint. Později se stal územím Abenaků. Evropané ostrov navštívili v 16. století a anglický kapitán Martin Pring v roce 1603 pojmenoval souostroví Fox Islands. K prvnímu trvalému osídlení Angličany došlo v roce 1766, kdy sem dorazil Thaddeus Carver z Marshfieldu ve státě Massachusetts a později koupil od Thomase Cogswella 700 akrů (2,8 km2) na jižním pobřeží poblíž místa, které se stalo známým jako Carverův přístav.
Brzy následovali další, kteří založili odlehlou rybářskou a zemědělskou komunitu v Mainském zálivu. Za první rodiny Vinalhavenu jsou považovány Arey, Calderwood, Carver, Coombs, Dyer, Ginn, Greem, Hopkins, Lane, Leadbetter, Norton, Philbrook, Pierce, Roberts, Smith, Warren a Vinal. Dne 25. června 1789 byl Vinalhaven zaregistrován jako město, pojmenované po Johnu Vinalovi. Vinal nebyl obyvatelem ostrova, byl pouze zástupcem, který podal u mainského generálního soudu žádost o založení nového městečka, nicméně název se vžil. V roce 1847 se ostrov North Fox oddělil a stal se samostatným městečkem s názvem North Haven.
Rybolov, stavba lodí, těžba dřeva a lodní doprava byly důležitými ranými obory podnikání na Vinalhavenu. V roce 1826 byla objevena vysoce kvalitní žula a Vinalhaven se na další století stal jedním z největších center těžby v Maine. Dnes je ostrov poset opuštěnými starými lomy, z nichž mnohé se mezitím zaplnily podzemní vodou a jsou oblíbenými koupališti pro obyvatele i návštěvníky. Růžovošedou vinalhavenskou žulu, vytěženou Bodwell Granite Company, můžeme vidět v budově ministerstva zahraničí ve Washingtonu, na newyorském Brooklynském mostě a v budově Union Mutual Life Insurance Building v Bostonu.
Žula byla dodávána pro celnice a pošty v New Yorku; St. Louis; Kansas City; Buffalu atd.; železniční nádraží a Board of Trade v Chicagu; Washingtonův památník a budovy federálních úřadů v hlavním městě; pensylvánské nádraží a zednářský chrám ve Filadelfii; dále soukromá sídla, pomníky, mosty, přehrady a tisíce tun dlažebních kostek pro ulice v Portlandu; Bostonu; New Yorku; Newarku; Filadelfii a dalších městech. Vinalhavenské lomy byly jediné dostatečně hluboké, aby mohly poskytnout osm obrovských leštěných sloupů, které byly požadovány v původních plánech pro apsidu katedrály svatého Jana Božského v New Yorku; bohužel se mohutné sloupy lámaly pod vlastní vahou a nakonec muselo být pro vytvoření každého sloupu použito více než jeden kus žuly. Lomy poskytly také základní kámen pro stavbu katedrály.
Vinalhaven je známá komunita lovců humrů a má rybářská práva na velkou část Penobscotského zálivu a jeho pobřežních vod. V okolí Vinalhavenu se nachází deset hlavních lovišť, která ostrovní rybáři a někteří rybáři z ostrova Matinicus po staletí využívají k lovu dnových ryb, jako jsou tresky, tresky jednoskvrnné, tresky pollock, štikozubci, humři, hřebenatky a platýsi. Ve vodách kolem Vinalhavenu se také hojně vyskytují krevety, mořští ďasové, makrely a sledi. Vinalhavenské humry se jako první v zemi sdružily do odborů. Organizovat se začali v zimě 2012-13 po frustraci z nízkých cen humrů, které jim byly vypláceny, a po neshodách s vedením Maine Lobstermen’s Associations.
V roce 2006 se na Vinalhavenu částečně natáčel film Islander; někteří z místních obyvatel ve filmu hráli.
Vinalhaven se dostal do zpráv v březnu 2020 během krize způsobené virem COVID-19 poté, co skupina obyvatel ostrova pokácela strom a odtáhla ho na silnici ve snaze násilím umístit do karantény tři spolubydlící s poznávacími značkami mimo stát, o nichž se domnívali, že by mohli mít virus.
V létě 2020 se na ostrově Vinalhaven stala vražda sekerou.