Arkeologiset jäännökset viittaavat siihen, että saaren asuttivat ensimmäisen kerran 3800-5000 vuotta sitten Red Paint People. Myöhemmin siitä tuli abenakien aluetta. Eurooppalaiset vierailivat 1500-luvulla, ja englantilainen kapteeni Martin Pring nimesi saariston Foxsaariksi vuonna 1603. Ensimmäinen pysyvä englantilainen siirtokunta syntyi vuonna 1766, kun Thaddeus Carver Marshfieldistä, Massachusettsista, saapui paikalle ja osti myöhemmin Thomas Cogswelliltä 700 eekkeriä (2,8 km2) etelärannalta läheltä aluetta, joka tuli tunnetuksi nimellä Carver’s Harbor.
Muutkin seurasivat pian perustaakseen syrjäisen kalastus- ja maanviljely-yhteisön Mainenlahdelle. Vinalhavenin ensimmäisiksi perheiksi katsotaan Arey, Calderwood, Carver, Coombs, Dyer, Ginn, Greem, Hopkins, Lane, Leadbetter, Norton, Philbrook, Pierce, Roberts, Smith, Warren ja Vinal. Kesäkuun 25. päivänä 1789 Vinalhavenista muodostettiin kaupunki, joka nimettiin John Vinalin mukaan. Vinal ei ollut saaren asukas, vaan ainoastaan asiamies, joka anoi Mainen yleiseltä tuomioistuimelta uuden kunnan perustamista, mutta nimi jäi kuitenkin voimaan. Vuonna 1847 North Fox Island irtautui ja siitä tuli erillinen township nimeltä North Haven.
Kalastus, laivanrakennus, puunkorjuu ja merenkulku olivat tärkeitä alkuaikojen elinkeinoelämän aloja Vinalhavenilla. Vuonna 1826 löydettiin korkealaatuista graniittia, ja Vinalhavenista tuli yksi Mainen suurimmista louhintakeskuksista seuraavan vuosisadan ajan. Nykyään saarella on paljon hylättyjä vanhoja louhoksia, joista monet ovat sittemmin täyttyneet pohjavedellä ja ovat sekä asukkaiden että vierailijoiden suosimia uimapaikkoja. Bodwell Granite Companyn louhimaa vaaleanpunertavan harmaata Vinalhavenin graniittia voi nähdä Washingtonin ulkoministeriön rakennuksessa, New Yorkin Brooklynin sillassa ja Union Mutual Life Insurance Building -rakennuksessa Bostonissa.
Graniittia toimitettiin tullitaloihin ja postitoimistoihin New Yorkissa, St. Louisissa, Kansas Cityssä, Buffalossa jne.; Chicagon rautatieasemalle ja kauppahallitukseen; Washingtonin muistomerkkiin ja liittovaltion toimistorakennuksiin pääkaupungissa; Pennsylvanian rautatieasemalle ja vapaamuurari-temppeliin Philadelphiassa; sekä yksityisiin kartanoihin, muistomerkkeihin, siltoihin, patoihin ja tuhansiin tonneihin kiveyskiviä Portlandin, Bostonin, New Yorkin, Newarkin, Philadelphian ja muiden kaupunkien kaduille. Vinalhavenin louhokset olivat ainoat tarpeeksi syvät, jotta niistä voitiin valmistaa kahdeksan valtavaa kiillotettua pylvästä, joita vaadittiin New Yorkissa sijaitsevan Pyhän Johanneksen katedraalin apsiksen alkuperäisissä suunnitelmissa; valitettavasti massiiviset pylväät murtuivat oman painonsa alla, ja loppujen lopuksi jokaista pylvästä varten jouduttiin yhdistämään useampi kuin yksi graniittipala. Louhoksista saatiin myös katedraalin peruskiveä.
Vinalhaven on tunnettu hummerinpyyntiyhteisö, jolla on kalastusoikeudet suurimpaan osaan Penobscot Bayn lahdesta ja sen edustan vesistä. Vinalhavenin ympärillä on kymmenen suurta kalastusaluetta, joita saaren kalastajat ja jotkut Matinicus Islen kalastajat ovat käyttäneet vuosisatojen ajan pyydystääkseen pohjakaloja, kuten turskaa, koljaa, koljaa, kummeliturskaa, hummeria, kampasimpukoita ja ruijanpallasta. Vinalhavenia ympäröivissä vesissä on myös runsaasti katkarapuja, koirasimpukoita, makrillia ja silliä. Vinalhavenin hummerimiehet olivat maan ensimmäiset, jotka liittoutuivat. He alkoivat järjestäytyä talvella 2012-13 oltuaan turhautuneita heille maksettuihin alhaisiin hummerihintoihin ja erimielisyyksiin Maine Lobstermen’s Associations -järjestön johdon kanssa.
Vuoden 2006 elokuva Islander kuvattiin osittain Vinalhavenilla; osa paikallisista näytteli elokuvassa.
Vinalhaven nousi uutisiin maaliskuussa 2020 COVID-19-kriisin aikana sen jälkeen, kun ryhmä saaren asukkaita kaatoi puun ja raahasi sen tielle yrittäessään asettaa väkisin karanteeniin kolme kämppäkaveria, joilla oli osavaltion ulkopuoliset rekisterikilvet ja joiden he uskoivat voivan olla viruksen kantajia.
Vinalhavenissa tapahtui kirvesmurha kesällä 2020.