Frontiers in Psychology

McGurk és MacDonald (1976) egy erős multiszenzoros illúzióról számoltak be, amely audiovizuális beszéddel kapcsolatos. Felvettek egy mássalhangzót artikuláló hangot, és azt egy másik mássalhangzót artikuláló arccal szinkronizálták. Bár az akusztikus beszédjel önmagában jól felismerhető volt, az inkongruens vizuális beszéddel való szinkronizálás után egy másik mássalhangzónak hallották. Az illúziót McGurk-effektusnak nevezték el. Sokszor megismételték, és rengeteg kutatást váltott ki. A nagy hatás oka, hogy a multiszenzoros integráció látványos demonstrációjáról van szó. Megmutatja, hogy az auditív és vizuális információ egységes, integrált észleléssé olvad össze. Nagyon hasznos kutatási eszköz, mivel a McGurk-effektus erőssége az audiovizuális integráció erősségét tükrözheti.

Itt két fő állítást teszek a McGurk-effektus meghatározásával és értelmezésével kapcsolatban, mivel ezek relevanciával bírnak a multiszenzoros integráció mérőeszközeként való használata szempontjából. Először is, a McGurk-effektust úgy kell definiálni, mint az inkongruens vizuális beszéd által kiváltott kategorikus változást az auditív észlelésben, ami azt eredményezi, hogy egyetlen percepció szerint valami mást hallunk, mint amit a hang mond. Másodszor, a McGurk-effektus értelmezésekor döntő fontosságú, hogy figyelembe vegyük az uniszenzoros akusztikus és vizuális ingerkomponensek észlelését.

A McGurk-effektusnak számos változata létezik (McGurk és MacDonald, 1976; MacDonald és McGurk, 1978)1 . A legismertebb eset az, amikor egy hangmondás szinkronizálása egy arccal artikuláló arcra hallást eredményez . Ezt nevezzük fúziós hatásnak, mivel az észlelés különbözik az akusztikus és a vizuális komponensektől. Sok kutató a McGurk-hatást kizárólag fúziós hatásként definiálta, mivel itt az integráció egy harmadik mássalhangzó észlelését eredményezi, nyilvánvalóan egyesítve a hallásból és a látásból származó információkat (van Wassenhove et al., 2007; Keil et al., 2012; Setti et al., 2013). Ez a meghatározás figyelmen kívül hagyja azt a tényt, hogy más inkongruens audiovizuális ingerek más típusú észleléseket eredményeznek. Például ezeknek a mássalhangzóknak a fordított kombinációja, az AV, úgy hallható, mint , azaz a vizuális és auditív komponensek egymás után. Vannak más párosítások is, amelyek a vizuális komponens szerinti hallást eredményeznek, pl. a vizuális komponenssel együtt bemutatott akusztikusat úgy halljuk, mint . Itt az első állításom az, hogy a McGurk-effektus definíciójának az kellene lennie, hogy egy akusztikus kimondást egy másik kimondásként hallunk, ha diszkrepanciás vizuális artikulációval mutatják be. Ez a definíció magában foglalja az illúzió minden változatát, és maguk MacDonald és McGurk (1978), valamint több más szerző is ezt használta (pl. Rosenblum és Saldaña, 1996; Brancazio et al., 2003). A McGurk-effektus különböző változatai az audiovizuális integráció eredményét képviselik. Ha az integráció megtörténik, az egy egységes percepciót eredményez, anélkül, hogy hozzáférhetnénk az egyes komponensekhez, amelyek hozzájárultak az észleléshez. Így a McGurk-effektus bekövetkezésekor a megfigyelőnek az a szubjektív élménye, hogy egy bizonyos megszólalást hall, még akkor is, ha akusztikusan egy másik megszólalás jelenik meg.

A McGurk-effektus ezen értelmezésének egyik kihívása, hogy nem lehetünk biztosak abban, hogy a megfigyelő által adott válaszok megfelelnek a tényleges percepciónak. A valódi McGurk-effektus a multiszenzoros integráció miatt keletkezik, ami egy megváltozott auditív percepciót eredményez. Ha azonban az integráció nem történik meg, a megfigyelő külön-külön is érzékelheti a komponenseket, és választhat, hogy vagy a hallottak, vagy a látottak szerint reagál. Ez az egyik oka annak, hogy a fúziós hatás olyan vonzó: Ha a megfigyelő olyan észlelésről számol be, amely mindkét ingerösszetevőtől különbözik, akkor úgy tűnik, hogy nem csak az egyik modalitásra támaszkodik, hanem valóban összeolvasztja a két modalitásból származó információt. Ez a megközelítés azonban éppúgy nem garantálja az integráció egyenes mérését, mint az illúzió más változatai, amint azt alább kifejtjük.

A második fő állítás itt az, hogy a McGurk-effektus értelmezésekor figyelembe kell venni az akusztikus és a vizuális ingerösszetevők észlelését. Ezt a kérdést korábban Massaro és munkatársai (Massaro, 1998) és mások (Sekiyama és Tohkura, 1991; Green és Norrix, 1997; Jiang és Bernstein, 2011) átfogó munkájában dolgozták ki. Ez azért fontos, mert az uniszenzoros komponensek azonosítási pontossága tükröződik az audiovizuális beszédészlelésben.

Általában úgy vesszük, hogy a McGurk-effektus erőssége növekszik, ha az akusztikus komponens szerinti válaszok aránya csökken és/vagy ha a fúziós válaszok aránya nő. Vagyis az AV ingerre vonatkozó McGurk-hatást erősebbnek tekintik, ha kevesebb B válasz és/vagy több D válasz érkezik. Ez gyakran megfelelő módja a McGurk-hatás erősségének mérésére – ha szem előtt tartjuk, hogy implicit módon feltételezi, hogy az akusztikus és vizuális komponensek észlelése pontos (vagy legalábbis állandó az összehasonlított körülmények között). Azonban téves következtetésekhez vezethet, ha ez a feltételezés nem áll fenn.

A fúziós hatás kiváló példája ennek a figyelmeztetésnek. Úgy értelmezték, hogy az akusztikus és vizuális információ integrálódik, hogy egy új, köztes percepciót hozzon létre. Például, amikor az AV-t úgy halljuk, mint , az észlelésről úgy gondolják, hogy a hallás (bilabiális) és a látás (veláris) által biztosított jellemzők (az artikuláció helyére vonatkozóan) fúziója miatt jön létre, így egy másik, köztes mássalhangzó (alveoláris) érzékelhető (van Wassenhove, 2013). Azonban már McGurk és MacDonald (1976) is azt írta, hogy “lip movements for are frequently misread as ,” bár ők sajnos nem mérték a beszédolvasási teljesítményt. Az uniszenzoros vizuális feltétel kihagyása az eredeti tanulmányban az egyik tényező, amely hozzájárult ahhoz, hogy a fúziós hatás erős státuszban van, mint az egyetlen valódi McGurk-hatás, amely a valódi integrációt tükrözi. Mégis, ha a vizuális összetéveszthető a , egyáltalán nem meglepő vagy különleges, ha az AV-t .

Az uniszenzoros komponensek hozzájárulásának egyértelműbb bemutatására két példát hozok a kutatásomból, amelyekben a fúziós típusú ingerek a vizuális komponens egyértelműségétől függően eltérő percepciókat eredményeztek. Az egyik vizsgálatban egy McGurk ingert AV főként fúziónak hallottak (Tiippana et al., 2004). Ez tükrözte azt a tényt, hogy egy csak vizuális azonosítási feladatban a vizuálissal keveredtek (42% K válaszok és 45% T válaszok a vizuálisra ). Egy másik vizsgálatban egy McGurk stimulus AV-t főként , és ez arra vezethető vissza, hogy egy csak vizuális azonosító feladatban a vizuális egyértelműen megkülönböztethető volt a , és így nagyon pontosan felismerhető volt (100% helyes a tipikus felnőtteknél; Saalasti et al., 2012; de figyeljük meg az Asperger-szindrómás egyének deviáns viselkedését). Így, bár a McGurk-ingerek mindkét vizsgálatban fúziós típusúak voltak, az észlelésük nagymértékben különbözött a vizuális komponensek tisztaságától függően. Ezek az eredmények aláhúzzák annak fontosságát, hogy ismerjük az uniszenzoros ingerek perceptuális tulajdonságait, mielőtt következtetéseket vonnánk le a multiszenzoros integrációra vonatkozóan.

Az, hogy pontosan hogyan kell figyelembe venni az uniszenzoros komponensek tulajdonságait a beszéd multiszenzoros észlelése során, meghaladja e dolgozat kereteit. Ennek a kérdésnek a részletes kezelése gondosan megtervezett kísérleti vizsgálatokat (Bertelson et al., 2003; Alsius et al., 2005), számítógépes modellezést (Massaro, 1998; Schwartz, 2010) és a mögöttes agyi mechanizmusok vizsgálatát (Sams et al., 1991; Skipper et al., 2007) igényli. A fő irányelv azonban az, hogy az inger összetevőinek uniszenzoros észlelése az egész multiszenzoros észlelésében tükröződik (Ernst és Bülthoff, 2004).

Kísérletek során, amikor a feladat a hallottakról való beszámolás, a megfigyelő az audiovizuális inger által kiváltott tudatos auditív észlelést jelenti. Ha nincs multiszenzoros integráció vagy interakció, akkor a percepció azonos az audiovizuális inger és az egyedül bemutatott auditív komponens esetében. Ha van audiovizuális integráció, a tudatos auditív percepció megváltozik. Az, hogy a vizuális input milyen mértékben befolyásolja az észlelést, attól függ, hogy az egyes modalitások mennyire koherens és megbízható információt szolgáltatnak. A koherens információt integráljuk és súlyozzuk pl. az egyes modalitások megbízhatósága szerint, ami az uniszenzoros megkülönböztethetőségben tükröződik.

Ez a perceptuális folyamat az audiovizuális beszédre is érvényes – legyen az természetes, kongruens audiovizuális beszéd vagy mesterséges, inkongruens McGurk beszédinger. Az eredmény a tudatos auditív percepció. A hallás és a látás relatív súlyozásától függően a McGurk-ingerek kimenetele az akusztikus komponens szerinti hallástól (amikor a hallás megbízhatóbb, mint a látás) a fúziós és kombinált percepcióig (amikor mindkét modalitás bizonyos mértékig informatív) a vizuális komponens szerinti hallásig (amikor a látás megbízhatóbb, mint a hallás) terjedhet. A kongruens audiovizuális beszédet nem kezelik másképp, vizuális befolyást mutatva, amikor a hallás megbízhatósága csökken. A McGurk-effektus különböző változatai mind ugyanannak az észlelési folyamatnak az eredményei, és az audiovizuális integrációt tükrözik.

A McGurk-effektus kiváló eszköz a beszédészlelés multiszenzoros integrációjának vizsgálatára. E véleménycikk fő üzenetei a következők: először is, hogy a McGurk-effektust úgy kell definiálni, mint az inkongruens vizuális beszéd miatti auditív észlelés változását, hogy a megfigyelők más beszédhangot hallanak, mint amit a hang kimondott, másodszor, hogy az akusztikus és vizuális ingerkomponensek perceptuális tulajdonságait figyelembe kell venni, amikor a McGurk-effektust integrációt tükrözőként értelmezzük.

Interdekütközésre vonatkozó nyilatkozat

A szerző kijelenti, hogy a kutatást olyan kereskedelmi vagy pénzügyi kapcsolatok hiányában végezte, amelyek potenciális összeférhetetlenségként értelmezhetők.

Megköszönés

Ezt a kutatást a Helsinki Egyetem ösztöndíja finanszírozta.

Lábjegyzetek