Frontiers in Psychology

McGurk a MacDonald (1976) zaznamenali silnou multisenzorickou iluzi vyskytující se při audiovizuální řeči. Nahráli hlas artikulující souhlásku a dabovali jej obličejem artikulujícím jinou souhlásku. Přestože akustický řečový signál byl sám o sobě dobře rozpoznatelný, po dabingu s inkongruentní vizuální řečí byl slyšet jako jiná souhláska. Iluze byla označena jako McGurkův efekt. Byl mnohokrát replikován a vyvolal množství výzkumů. Důvodem velkého dopadu je to, že se jedná o pozoruhodnou ukázku multisenzorické integrace. Ukazuje, že sluchové a zrakové informace se spojují do jednotného, integrovaného vjemu. Je to velmi užitečný výzkumný nástroj, protože sílu McGurkova efektu lze považovat za odraz síly audiovizuální integrace.

Zde uvedu dvě hlavní tvrzení týkající se definice a interpretace McGurkova efektu, protože mají význam pro jeho použití jako měřítka multisenzorické integrace. Za prvé, McGurkův efekt by měl být definován jako kategorická změna sluchového vnímání vyvolaná inkongruentní vizuální řečí, jejímž výsledkem je jediný vjem slyšení něčeho jiného, než co říká hlas. Za druhé, při interpretaci McGurkova efektu je zásadní vzít v úvahu vnímání jednosmyslové složky akustického a vizuálního podnětu.

Existuje mnoho variant McGurkova efektu (McGurk a MacDonald, 1976; MacDonald a McGurk, 1978)1 . Nejznámějším případem je situace, kdy dabing hlasového výroku na artikulující obličej vede ke slyšení . Tento jev se nazývá fúzní efekt, protože vjem se liší od akustické a vizuální složky. Mnozí výzkumníci definovali McGurkův efekt výhradně jako fúzní efekt, protože zde integrace vede k vnímání třetího konsonantu, což zjevně slučuje informace ze slyšení a vidění (van Wassenhove et al., 2007; Keil et al., 2012; Setti et al., 2013). Tato definice ignoruje skutečnost, že jiné inkongruentní audiovizuální podněty vyvolávají různé typy percepcí. Například obrácená kombinace těchto souhlásek, AV, je slyšena jako , tj. vizuální a auditivní složka po sobě. Existují i další dvojice, jejichž výsledkem je slyšení podle vizuální složky, např. akustická prezentovaná s vizuální je slyšena jako . Zde je mým prvním tvrzením, že definice McGurkova efektu by měla znít, že akustická výpověď je slyšena jako jiná výpověď, je-li prezentována s nesouhlasnou vizuální artikulací. Tato definice zahrnuje všechny varianty iluze a používají ji sami MacDonald a McGurk (1978) i někteří další (např. Rosenblum a Saldaña, 1996; Brancazio et al., 2003). Různé varianty McGurkova efektu představují výsledek audiovizuální integrace. Když dojde k integraci, výsledkem je jednotný vjem bez přístupu k jednotlivým složkám, které se na vjemu podílely. Když tedy dojde k McGurkovu efektu, má pozorovatel subjektivní zkušenost, že slyší určitou výpověď, i když je akusticky prezentována jiná výpověď.

Jedním z problémů této interpretace McGurkova efektu je, že není možné mít jistotu, že odpovědi, které pozorovatel dává, odpovídají skutečným vjemům. Skutečný McGurkův efekt vzniká v důsledku multisenzorické integrace, jejímž výsledkem je změněný sluchový vjem. Pokud však k integraci nedojde, může pozorovatel vnímat jednotlivé složky odděleně a může se rozhodnout reagovat buď podle toho, co slyšel, nebo podle toho, co viděl. To je jeden z důvodů, proč je efekt fúze tak atraktivní: Pokud pozorovatel hlásí vjem, který se liší od obou složek podnětu, zdá se, že se nespoléhá pouze na jednu z modalit, ale skutečně slučuje informace z obou. Tento přístup však nezaručuje přímou míru integrace o nic více než jiné varianty iluze, jak je argumentováno níže.

Druhým hlavním tvrzením zde je, že při interpretaci McGurkova efektu je třeba vzít v úvahu vnímání akustické a vizuální složky podnětu. Tato problematika byla již dříve rozpracována v rozsáhlé práci Massara a kolegů (Massaro, 1998) a dalších (Sekiyama a Tohkura, 1991; Green a Norrix, 1997; Jiang a Bernstein, 2011). Je důležitý, protože přesnost identifikace jednosmyslových složek se promítá do audiovizuálního vnímání řeči.

Obecně se má za to, že síla McGurkova efektu se zvyšuje, když se snižuje podíl odpovědí podle akustické složky a/nebo když se zvyšuje podíl fúzních odpovědí. To znamená, že McGurkův efekt pro podnět AV se považuje za silnější, když je uvedeno méně odpovědí B a/nebo více odpovědí D. To je často adekvátní způsob měření síly McGurkova efektu – pokud máme na paměti, že implicitně předpokládá, že vnímání akustické a vizuální složky je přesné (nebo alespoň konstantní ve všech srovnávaných podmínkách). Může však vést k chybným závěrům, pokud tento předpoklad neplatí.

Ukázkovým příkladem této výhrady je fúzní efekt. Byl interpretován tak, že akustické a vizuální informace jsou integrovány, aby vytvořily nový, zprostředkovaný vjem. Například když je AV slyšet jako , předpokládá se, že vjem vzniká v důsledku fúze rysů (pro místo artikulace) poskytovaných prostřednictvím audia (bilabiální) a zraku (velární), takže je vnímána jiná, přechodná souhláska (alveolární) (van Wassenhove, 2013). Nicméně již McGurk a MacDonald (1976) sami napsali, že „pohyby rtů pro jsou často chybně čteny jako ,“ i když bohužel neměřili výkon při čtení řeči. Vynechání jednosmyslové vizuální podmínky v původní studii je jedním z faktorů, který přispěl k silnému postavení efektu fúze jako jediného skutečného McGurkova efektu, který odráží skutečnou integraci. Přesto, pokud je vizuální zaměňován s , není vůbec překvapivé ani zvláštní, pokud je AV vnímán jako .

Abych demonstroval příspěvek jednosmyslových složek explicitněji, uvedu dva příklady z mého výzkumu, v nichž podněty fúzního typu vyvolávaly různé vjemy v závislosti na zřetelnosti vizuální složky. V jedné studii byl McGurkův podnět AV slyšen především jako fúze (Tiippana et al., 2004). To odráželo skutečnost, že v úloze zaměřené pouze na vizuální identifikaci byla vizuální složka zaměněna (42 % odpovědí K a 45 % odpovědí T na vizuální ). V jiné studii byl McGurkův podnět AV slyšen převážně jako , a to mohlo souviset s tím, že v identifikační úloze zaměřené pouze na zrak byl vizuál jasně odlišitelný od , a tudíž rozpoznán velmi přesně (100 % správných odpovědí u typických dospělých; Saalasti et al., 2012; všimněte si však odchylného chování jedinců s Aspergerovým syndromem). Přestože tedy McGurkovy podněty byly v obou studiích fúzního typu, jejich vnímání se lišilo především v závislosti na zřetelnosti vizuálních složek. Tato zjištění podtrhují důležitost znalosti percepčních vlastností jednosmyslových podnětů před vyvozením závěrů o multisenzorické integraci.

Jak přesně zohlednit vlastnosti jednosmyslových složek při multisenzorickém vnímání řeči, je mimo rámec tohoto článku. Podrobné řešení této otázky vyžaduje pečlivě navržené experimentální studie (Bertelson et al., 2003; Alsius et al., 2005), počítačové modelování (Massaro, 1998; Schwartz, 2010) a zkoumání základních mozkových mechanismů (Sams et al., 1991; Skipper et al., 2007). Hlavním vodítkem však je, že jednosmyslové vnímání složek podnětu se promítá do vícesmyslového vnímání celku (Ernst a Bülthoff, 2004).

Při experimentech, kdy je úkolem podat zprávu o tom, co bylo slyšet, pozorovatel podává zprávu o vědomém sluchovém vjemu vyvolaném audiovizuálním podnětem. Pokud nedochází k multisenzorické integraci nebo interakci, je vjem totožný pro audiovizuální podnět a sluchovou složku prezentovanou samostatně. Pokud dochází k audiovizuální integraci, vědomý sluchový vjem se mění. Do jaké míry vizuální vstup ovlivňuje vjem, závisí na tom, jak koherentní a spolehlivé informace jednotlivé modality poskytují. Koherentní informace jsou integrovány a váženy např. podle spolehlivosti každé modality, což se odráží v jednosmyslové rozlišitelnosti.

Tento percepční proces je stejný pro audiovizuální řeč – ať už jde o přirozenou, kongruentní audiovizuální řeč, nebo umělé, inkongruentní McGurkovy řečové podněty. Výsledkem je vědomý sluchový vjem. V závislosti na relativní váze sluchu a zraku se výsledek u McGurkových podnětů může pohybovat od slyšení podle akustické složky (když je sluch spolehlivější než zrak) přes fúzi a kombinované vjemy (když jsou obě modality do určité míry informativní) až po slyšení podle vizuální složky (když je zrak spolehlivější než sluch). Ke kongruentní audiovizuální řeči se nepřistupuje jinak, vykazuje vliv zraku, když spolehlivost sluchu klesá. Všechny různé varianty McGurkova efektu jsou výsledkem téhož percepčního procesu a odrážejí audiovizuální integraci.

McGurkův efekt je vynikajícím nástrojem pro zkoumání multisenzorické integrace při vnímání řeči. Hlavním poselstvím tohoto posudku je jednak to, že McGurkův efekt by měl být definován jako změna sluchového vnímání v důsledku inkongruentní vizuální řeči, takže pozorovatelé slyší jiný zvuk řeči, než jaký hlas vyslovil, a jednak to, že při interpretaci McGurkova efektu jako odrazu integrace je třeba vzít v úvahu percepční vlastnosti akustické a vizuální složky podnětu.

Prohlášení o střetu zájmů

Autor prohlašuje, že výzkum byl proveden bez jakýchkoli komerčních nebo finančních vztahů, které by mohly být chápány jako potenciální střet zájmů.

Poděkování

Tento výzkum byl financován grantem Helsinské univerzity.

Poznámky

.