Frontiere în psihologie

McGurk și MacDonald (1976) au raportat o iluzie multisenzorială puternică care apare în timpul discursului audiovizual. Ei au înregistrat o voce care articula o consoană și au dublat-o cu o față care articula o altă consoană. Chiar dacă semnalul acustic de vorbire a fost bine recunoscut singur, acesta a fost auzit ca o altă consoană după dublarea cu un discurs vizual incongruent. Iluzia a fost denumită efectul McGurk. A fost reprodusă de mai multe ori și a stârnit o mulțime de cercetări. Motivul pentru marele impact este că este o demonstrație izbitoare a integrării multisenzoriale. Arată că informațiile auditive și vizuale se contopesc într-un percept unificat, integrat. Este un instrument de cercetare foarte util, deoarece puterea efectului McGurk poate fi considerată ca reflectând puterea integrării audiovizuale.

Aici voi face două afirmații principale cu privire la definirea și interpretarea efectului McGurk, deoarece acestea au relevanță pentru utilizarea sa ca măsură a integrării multisenzoriale. În primul rând, efectul McGurk ar trebui definit ca o schimbare categorială în percepția auditivă indusă de un discurs vizual incongruent, având ca rezultat o singură percepție de a auzi altceva decât ceea ce spune vocea. În al doilea rând, atunci când se interpretează efectul McGurk, este esențial să se ia în considerare percepția componentelor unisenzoriale ale stimulilor acustici și vizuali.

Există multe variante ale efectului McGurk (McGurk și MacDonald, 1976; MacDonald și McGurk, 1978)1. Cel mai cunoscut caz este cel în care dublarea unei voci care spune pe o față articulată are ca rezultat audierea . Acesta se numește efect de fuziune, deoarece perceptul diferă de componentele acustice și vizuale. Mulți cercetători au definit efectul McGurk exclusiv ca efect de fuziune, deoarece aici integrarea are ca rezultat percepția unei a treia consoane, fuzionând în mod evident informațiile din audiție și vedere (van Wassenhove et al., 2007; Keil et al., 2012; Setti et al., 2013). Această definiție ignoră faptul că alți stimuli audiovizuali incongruenți produc diferite tipuri de percepții. De exemplu, o combinație inversă a acestor consoane, AV, este auzită ca , adică, componentele vizuală și auditivă una după alta. Există și alte împerecheri, care au ca rezultat audierea în funcție de componenta vizuală, de exemplu, acustica prezentată cu vizualul este auzită ca . Aici, prima mea afirmație este că definiția efectului McGurk ar trebui să fie aceea că un enunț acustic este auzit ca un alt enunț atunci când este prezentat cu o articulare vizuală discrepantă. Această definiție include toate variantele iluziei și a fost utilizată chiar de MacDonald și McGurk (1978), precum și de mai mulți alții (de exemplu, Rosenblum și Saldaña, 1996; Brancazio et al., 2003). Diferitele variante ale efectului McGurk reprezintă rezultatul integrării audiovizuale. Atunci când are loc integrarea, aceasta are ca rezultat un percept unificat, fără acces la componentele individuale care au contribuit la acest percept. Astfel, atunci când are loc efectul McGurk, observatorul are experiența subiectivă de a auzi un anumit enunț, chiar dacă un alt enunț este prezentat acustic.

O provocare cu această interpretare a efectului McGurk este că este imposibil să fim siguri că răspunsurile pe care le dă observatorul corespund percepțiilor reale. Adevăratul efect McGurk apare datorită integrării multisenzoriale, rezultând într-o percepție auditivă alterată. Cu toate acestea, dacă nu are loc integrarea, observatorul poate percepe componentele separat și poate alege să răspundă fie în funcție de ceea ce a auzit, fie în funcție de ceea ce a văzut. Acesta este unul dintre motivele pentru care efectul de fuziune este atât de atractiv: Dacă observatorul raportează o percepție care diferă de ambele componente ale stimulilor, el nu pare să se bazeze doar pe una dintre cele două modalități, ci, în schimb, fuzionează cu adevărat informațiile din ambele. Cu toate acestea, această abordare nu garantează o măsură directă a integrării mai mult decât celelalte variante ale iluziei, așa cum se argumentează mai jos.

A doua afirmație principală aici este că percepția componentelor de stimul acustic și vizual trebuie luată în considerare atunci când se interpretează efectul McGurk. Această problemă a fost elaborată anterior în lucrarea extinsă a lui Massaro și a colegilor (Massaro, 1998) și a altora (Sekiyama și Tohkura, 1991; Green și Norrix, 1997; Jiang și Bernstein, 2011). Este important deoarece acuratețea identificării componentelor unisenzoriale se reflectă în percepția audiovizuală a vorbirii.

În general, se consideră că intensitatea efectului McGurk crește atunci când proporția răspunsurilor în funcție de componenta acustică scade și/sau când proporția răspunsurilor de fuziune crește. Adică, efectul McGurk pentru stimulul AV este considerat mai puternic atunci când sunt date mai puține răspunsuri B și/sau mai multe răspunsuri D. Acesta este adesea un mod adecvat de a măsura puterea efectului McGurk – dacă se ține cont de faptul că se presupune în mod implicit că percepția componentelor acustică și vizuală este exactă (sau cel puțin constantă între condițiile care sunt comparate). Cu toate acestea, poate duce la concluzii eronate dacă această presupunere nu este valabilă.

Efectul de fuziune oferă un prim exemplu al acestei atenționări. Acesta a fost interpretat ca însemnând că informațiile acustice și vizuale sunt integrate pentru a produce un percept nou, intermediar. De exemplu, atunci când AV este auzit ca , se crede că perceptul apare datorită fuziunii caracteristicilor (pentru locul de articulare) furnizate prin intermediul auzului (bilabială) și al vederii (velară), astfel încât este percepută o consoană intermediară diferită (alveolară) (van Wassenhove, 2013). Cu toate acestea, deja McGurk și MacDonald (1976) au scris ei înșiși că „mișcările buzelor pentru sunt frecvent interpretate greșit ca fiind ,” chiar dacă, din păcate, nu au măsurat performanța de citire a vorbirii. Omiterea condiției vizuale unisenzoriale în studiul original este un factor care a contribuit la statutul puternic al efectului de fuziune ca fiind singurul efect McGurk real, care reflectă o integrare adevărată. Totuși, dacă vizualul este confundat cu , nu este deloc surprinzător sau special dacă AV este perceput ca .

Pentru a demonstra mai explicit contribuția componentelor unisenzoriale, voi lua două exemple din cercetarea mea, în care stimulii de tip fuziune au produs percepții diferite în funcție de claritatea componentei vizuale. Într-un studiu, un stimul McGurk AV a fost auzit în principal ca o fuziune (Tiippana et al., 2004). Acest lucru a reflectat faptul că, într-o sarcină de identificare doar vizuală, vizualul a fost confundat cu (42% răspunsuri K și 45% răspunsuri T la vizual ). Într-un alt studiu, un stimul McGurk AV a fost auzit în principal ca fiind , iar acest lucru ar putea fi pus pe seama faptului că, într-o sarcină de identificare doar vizuală, vizualul a putut fi distins în mod clar de , și astfel a fost recunoscut foarte precis (100% corect la adulții tipici; Saalasti et al., 2012; dar rețineți comportamentul deviant al persoanelor cu sindromul Asperger). Astfel, chiar dacă stimulii McGurk au fost de tip fuziune în ambele studii, percepția lor a fost diferită în funcție în mare măsură de claritatea componentelor vizuale. Aceste constatări subliniază importanța cunoașterii calităților perceptuale ale stimulilor unisenzoriali înainte de a trage concluzii despre integrarea multisenzorială.

Cum anume să luăm în considerare proprietățile componentelor unisenzoriale în percepția multisenzorială a vorbirii este dincolo de această lucrare. Abordarea în detaliu a acestei probleme necesită studii experimentale atent concepute (Bertelson et al., 2003; Alsius et al., 2005), modelare computațională (Massaro, 1998; Schwartz, 2010) și investigarea mecanismelor cerebrale care stau la bază (Sams et al., 1991; Skipper et al., 2007). Cu toate acestea, principala linie directoare este că percepția unisenzorială a componentelor stimulului se reflectă în percepția multisenzorială a întregului (Ernst și Bülthoff, 2004).

În timpul experimentelor, atunci când sarcina este de a raporta ceea ce s-a auzit, observatorul raportează perceptul auditiv conștient evocat de stimulul audiovizual. Dacă nu există integrare sau interacțiune multisenzorială, perceptul este identic pentru stimulul audiovizual și pentru componenta auditivă prezentată singură. În cazul în care există integrare audiovizuală, perceptul auditiv conștient se modifică. Măsura în care inputul vizual influențează perceptul depinde de cât de coerentă și fiabilă este informația furnizată de fiecare modalitate. Informațiile coerente sunt integrate și ponderate, de exemplu, în funcție de fiabilitatea fiecărei modalități, ceea ce se reflectă în discriminabilitatea unisenzorială.

Acest proces de percepție este același pentru vorbirea audiovizuală – fie că este vorba de vorbirea audiovizuală naturală, congruentă, sau de stimuli de vorbire McGurk artificiali, incongruenți. Rezultatul este perceptul auditiv conștient. În funcție de ponderea relativă a auzului și a vederii, rezultatul pentru stimulii McGurk poate varia de la auzul în funcție de componenta acustică (atunci când auzul este mai fiabil decât vederea) la percepte de fuziune și combinație (atunci când ambele modalități sunt informative într-o anumită măsură) la auzul în funcție de componenta vizuală (atunci când vederea este mai fiabilă decât auzul). Discursul audiovizual congruent nu este tratat diferit, prezentând o influență vizuală atunci când fiabilitatea auditivă scade. Diferitele variante ale efectului McGurk sunt toate rezultate ale aceluiași proces perceptiv și reflectă integrarea audiovizuală.

Efectul McGurk este un instrument excelent pentru a investiga integrarea multisenzorială în percepția vorbirii. Mesajele principale ale acestui document de opinie sunt, în primul rând, că efectul McGurk ar trebui definit ca o modificare a percepției auditive datorată unui discurs vizual incongruent, astfel încât observatorii să audă un alt sunet de vorbire decât cel pronunțat de voce și, în al doilea rând, că proprietățile perceptuale ale componentelor stimulilor acustici și vizuali ar trebui luate în considerare atunci când se interpretează efectul McGurk ca reflectând integrarea.

Declarație privind conflictul de interese

Autorul declară că cercetarea a fost efectuată în absența oricăror relații comerciale sau financiare care ar putea fi interpretate ca un potențial conflict de interese.

Recunoaștere

Această cercetare a fost finanțată printr-un grant de la Universitatea din Helsinki.

Notele de subsol

.