Frontiers in Psychology

McGurk ja MacDonald (1976) raportoivat voimakkaasta multisensorisesta illuusiosta, joka esiintyy audiovisuaalisen puheen yhteydessä. He nauhoittivat konsonanttia artikuloivan äänen ja dubasivat sen toista konsonanttia artikuloivilla kasvoilla. Vaikka akustinen puhesignaali tunnistettiin hyvin yksinään, se kuultiin toisena konsonanttina sen jälkeen, kun se oli synkronoitu epäjohdonmukaisen visuaalisen puheen kanssa. Harhaa on kutsuttu McGurk-ilmiöksi. Se on toistettu useita kertoja, ja se on herättänyt runsaasti tutkimusta. Syy suureen vaikutukseen on se, että kyseessä on silmiinpistävä osoitus moniaistisesta integraatiosta. Se osoittaa, että auditiivinen ja visuaalinen informaatio sulautuvat yhdeksi yhtenäiseksi, integroituneeksi käsitykseksi. Se on erittäin hyödyllinen tutkimusväline, koska McGurk-efektin voimakkuuden voidaan katsoa heijastavan audiovisuaalisen integraation voimakkuutta.

Tässä esitän kaksi pääväittämää McGurk-efektin määritelmästä ja tulkinnasta, koska niillä on merkitystä sen käytölle moniaistisen integraation mittarina. Ensinnäkin McGurk-ilmiö olisi määriteltävä epäjohdonmukaisen visuaalisen puheen aiheuttamaksi kategoriseksi muutokseksi kuulohavainnossa, joka johtaa yksittäiseen havaintoon siitä, että kuulee jotain muuta kuin mitä ääni sanoo. Toiseksi McGurk-ilmiötä tulkittaessa on ratkaisevan tärkeää ottaa huomioon unisensoristen akustisten ja visuaalisten ärsykekomponenttien havaitseminen.

McGurk-ilmiöstä on monia muunnelmia (McGurk ja MacDonald, 1976; MacDonald ja McGurk, 1978)1. Tunnetuin tapaus on, kun ääniäänen sanomisen dubbaaminen kasvojen päälle artikuloiden johtaa kuuloon . Tätä kutsutaan fuusioefektiksi, koska havainto eroaa akustisesta ja visuaalisesta komponentista. Monet tutkijat ovat määritelleet McGurkin efektin yksinomaan fuusioefektiksi, koska tässä integraatio johtaa kolmannen konsonantin havaitsemiseen, jolloin ilmeisesti yhdistyvät kuulon ja näön tiedot (van Wassenhove et al., 2007; Keil et al., 2012; Setti et al., 2013). Tämä määritelmä jättää huomiotta sen, että muut epäjohdonmukaiset audiovisuaaliset ärsykkeet tuottavat erityyppisiä havaintoja. Esimerkiksi näiden konsonanttien käänteinen yhdistelmä, AV, kuullaan , eli visuaalinen ja auditiivinen komponentti peräkkäin. On muitakin parituksia, jotka johtavat kuulemiseen visuaalisen komponentin mukaan, esim. visuaalisen kanssa esitetty akustinen kuullaan . Tässä ensimmäinen väitteeni on, että McGurk-efektin määritelmän pitäisi olla se, että akustinen lausuma kuullaan toisena lausumana, kun se esitetään diskrepanttisen visuaalisen artikulaation kanssa. Tämä määritelmä sisältää kaikki illuusion variantit, ja sitä ovat käyttäneet MacDonald ja McGurk (1978) itse sekä useat muut (esim. Rosenblum ja Saldaña, 1996; Brancazio et al., 2003). McGurk-efektin eri variantit edustavat audiovisuaalisen integraation tulosta. Kun integraatio tapahtuu, tuloksena on yhtenäinen käsitys, eikä käsitykseen vaikuttaneita yksittäisiä komponentteja ole saatavilla. Näin ollen McGurk-efektin esiintyessä havaitsijalla on subjektiivinen kokemus tietyn lausuman kuulemisesta, vaikka akustisesti esitetään toinen lausuma.

Tämän McGurk-efektin tulkinnan haasteena on se, että on mahdotonta olla varma siitä, että havaitsijan antamat vastaukset vastaavat todellisia havaintoja. Todellinen McGurk-ilmiö syntyy multisensorisen integraation seurauksena, mikä johtaa muuttuneeseen kuulohavaintoon. Jos integraatiota ei kuitenkaan tapahdu, havainnoitsija voi havaita osatekijät erikseen ja voi halutessaan reagoida joko sen mukaan, mitä hän kuuli, tai sen mukaan, mitä hän näki. Tämä on yksi syy siihen, miksi fuusiovaikutus on niin houkutteleva: Jos havainnoitsija raportoi havaintonsa, joka eroaa molemmista ärsykekomponenteista, hän ei näytä luottavan pelkästään kumpaankaan modaliteettiin, vaan sulauttaa oikeasti molemmista saadun tiedon. Tämä lähestymistapa ei kuitenkaan takaa suoraviivaista integraation mittaamista sen enempää kuin muutkaan illuusion variantit, kuten jäljempänä väitetään.

Toinen pääväite tässä on, että akustisten ja visuaalisten ärsykekomponenttien havaitseminen on otettava huomioon McGurk-ilmiötä tulkittaessa. Tätä asiaa on käsitelty aiemmin Massaron ja kollegoiden (Massaro, 1998) ja muiden (Sekiyama ja Tohkura, 1991; Green ja Norrix, 1997; Jiang ja Bernstein, 2011) laajassa työssä. Se on tärkeä, koska unisensoristen komponenttien tunnistustarkkuus heijastuu audiovisuaaliseen puhehavaintoon.

Yleisesti McGurkin efektin voimakkuuden katsotaan kasvavan, kun akustisen komponentin mukaisten vastausten osuus pienenee ja/tai kun fuusiovastausten osuus kasvaa. Toisin sanoen McGurkin vaikutusta ärsykkeen AV osalta pidetään voimakkaampana, kun annetaan vähemmän B-vastauksia ja/tai enemmän D-vastauksia. Tämä on usein riittävä tapa mitata McGurkin vaikutuksen voimakkuutta – jos pidetään mielessä, että siinä oletetaan epäsuorasti, että akustisten ja visuaalisten komponenttien havaitseminen on täsmällistä (tai ainakin pysyy vakiona vertailtavien olosuhteiden välillä). Se voi kuitenkin johtaa virheellisiin johtopäätöksiin, jos tämä oletus ei pidä paikkaansa.

Fuusioilmiö on hyvä esimerkki tästä varoituksesta. Sen on tulkittu tarkoittavan, että akustinen ja visuaalinen informaatio integroidaan tuottamaan uudenlainen, välillinen havainto. Esimerkiksi kun AV kuullaan muodossa , käsityksen ajatellaan syntyvän kuulon (bilabiaalinen) ja näön (velaarinen) kautta annettujen (artikulaatiopaikkaa koskevien) piirteiden fuusioitumisen seurauksena, jolloin hahmotetaan erilainen, välikonsonantti (alveolaarinen) (van Wassenhove, 2013). Kuitenkin jo McGurk ja MacDonald (1976) kirjoittivat itse, että ”lip movements for are frequently misread as ,” vaikka he eivät valitettavasti mitanneet puheenlukusuoritusta. Unisensorisen visuaalisen tilan jättäminen pois alkuperäisessä tutkimuksessa on yksi tekijä, joka on vaikuttanut siihen, että fuusiovaikutus on saanut vahvan aseman ainoana todellisena McGurkin vaikutuksena, joka heijastaa todellista integraatiota. Silti, jos visuaalinen sekoitetaan , ei ole lainkaan yllättävää tai erikoista, jos AV koetaan .

Edistääkseni yksiaististen komponenttien osuutta selkeämmin otan kaksi esimerkkiä tutkimuksestani, joissa fuusio-tyyppiset ärsykkeet tuottivat erilaisia käsityksiä riippuen visuaalisen komponentin selkeydestä. Yhdessä tutkimuksessa McGurk-ärsyke AV kuultiin pääasiassa fuusiona (Tiippana et al., 2004). Tämä heijasteli sitä, että pelkän visuaalisen tunnistustehtävässä visuaalinen sekoitettiin (42 % K-vastauksia ja 45 % T-vastauksia visuaaliseen ). Toisessa tutkimuksessa McGurk-ärsykkeen AV kuultiin pääasiassa , ja tämä saattoi johtua siitä, että pelkästään visuaalisessa tunnistustehtävässä visuaalinen oli selvästi erotettavissa , ja näin ollen tunnistettiin erittäin tarkasti (100 % oikein tyypillisillä aikuisilla; Saalasti ym., 2012; mutta huomaa Aspergerin oireyhtymää sairastavien henkilöiden poikkeava käyttäytyminen). Näin ollen, vaikka McGurk-ärsykkeet olivat molemmissa tutkimuksissa fuusiotyyppisiä, niiden havaitseminen erosi suuresti riippuen visuaalisten komponenttien selkeydestä. Nämä havainnot korostavat, kuinka tärkeää on tuntea unisensoristen ärsykkeiden havainto-ominaisuudet ennen kuin tehdään johtopäätöksiä multisensorisesta integraatiosta.

Tarkasti se, miten unisensoristen komponenttien ominaisuudet otetaan huomioon puheen multisensorisessa havaitsemisessa, ei kuulu tämän työn piiriin. Tämän kysymyksen yksityiskohtainen käsittely edellyttää huolellisesti suunniteltuja kokeellisia tutkimuksia (Bertelson et al., 2003; Alsius et al., 2005), laskennallista mallintamista (Massaro, 1998; Schwartz, 2010) ja taustalla olevien aivomekanismien tutkimista (Sams et al., 1991; Skipper et al., 2007). Tärkein ohje on kuitenkin se, että ärsykkeen osien unisensorinen havaitseminen heijastuu kokonaisuuden multisensoriseksi havaitsemiseksi (Ernst ja Bülthoff, 2004).

Kokeissa, joissa tehtävänä on raportoida, mitä kuultiin, havainnoitsija raportoi audiovisuaalisen ärsykkeen herättämän tietoisen kuulohavainnon. Jos multisensorista integraatiota tai vuorovaikutusta ei tapahdu, havainto on identtinen audiovisuaaliselle ärsykkeelle ja yksinään esitetylle auditiiviselle komponentille. Jos audiovisuaalinen integraatio toteutuu, tietoinen kuulohavainto muuttuu. Se, missä määrin visuaalinen panos vaikuttaa havaintoon, riippuu siitä, kuinka johdonmukaista ja luotettavaa tietoa kukin modaliteetti tarjoaa. Koherentti informaatio integroidaan ja painotetaan esim. kunkin modaliteetin luotettavuuden mukaan, mikä heijastuu unisensoriseen erottelukykyyn.

Tämä havaintoprosessi on sama audiovisuaaliselle puheelle – olipa kyse luonnollisesta, kongruentista audiovisuaalisesta puheesta tai keinotekoisesta, inkongruentista McGurk-puheärsykkeestä. Tuloksena on tietoinen auditiivinen havainto. Kuulon ja näön suhteellisesta painotuksesta riippuen McGurk-ärsykkeiden lopputulos voi vaihdella akustisen komponentin mukaisesta kuulemisesta (kun kuulo on luotettavampi kuin näkö) fuusio- ja yhdistelmähavaintoihin (kun molemmat modaliteetit ovat jossain määrin informatiivisia) visuaalisen komponentin mukaiseen kuulemiseen (kun näkö on luotettavampi kuin kuulo). Kongruenttiin audiovisuaaliseen puheeseen ei suhtauduta eri tavalla, vaan siinä näkyy visuaalinen vaikutus, kun auditiivinen luotettavuus vähenee. McGurk-efektin eri variantit ovat kaikki tämän saman havaintoprosessin tuloksia ja heijastavat audiovisuaalista integraatiota.

McGurk-efekti on erinomainen väline tutkia moniaistista integraatiota puheen havaitsemisessa. Tämän mielipidekirjoituksen pääviestit ovat ensinnäkin se, että McGurk-ilmiö olisi määriteltävä inkongruentin visuaalisen puheen aiheuttamaksi auditiivisen havaitsemisen muutokseksi siten, että havainnoitsijat kuulevat toisenlaisen puheäänen kuin mitä ääni lausui, ja toiseksi se, että akustisten ja visuaalisten ärsykekomponenttien havainto-ominaisuudet olisi otettava huomioon, kun McGurk-ilmiötä tulkitaan integraatiota heijastavaksi.

Esintressiristiriitoja koskeva lausunto

Tekijä vakuuttaa, että tutkimus tehtiin ilman kaupallisia tai taloudellisia suhteita, jotka voitaisiin tulkita mahdolliseksi eturistiriidaksi.

Kiitokset

Tämä tutkimus rahoitettiin Helsingin yliopiston apurahalla.

Footnotes