Frontiers in Psychology

McGurk en MacDonald (1976) rapporteerden een krachtige multisensorische illusie die optreedt bij audiovisuele spraak. Zij namen een stem op die een medeklinker uitsprak en dubden deze met een gezicht dat een andere medeklinker uitsprak. Hoewel het akoestische spraaksignaal op zichzelf goed werd herkend, werd het gehoord als een andere medeklinker na nasynchronisatie met incongruente visuele spraak. Deze illusie wordt het McGurk-effect genoemd. Het is vele malen gerepliceerd en heeft geleid tot een overvloed aan onderzoek. De reden voor de grote impact is dat dit een treffende demonstratie is van multisensorische integratie. Het toont aan dat auditieve en visuele informatie wordt samengevoegd tot een verenigd, geïntegreerd waarnemingsvermogen. Het is een zeer nuttig onderzoeksinstrument, omdat de sterkte van het McGurk-effect kan worden opgevat als een afspiegeling van de sterkte van de audiovisuele integratie.

Hierbij zal ik twee belangrijke beweringen doen met betrekking tot de definitie en interpretatie van het McGurk-effect, omdat deze van belang zijn voor het gebruik ervan als maatstaf voor multisensorische integratie. Ten eerste, het McGurk effect moet worden gedefinieerd als een categorische verandering in auditieve perceptie geïnduceerd door incongruente visuele spraak, resulterend in een enkele perceptie van het horen van iets anders dan wat de stem zegt. Ten tweede is het bij de interpretatie van het McGurk-effect van cruciaal belang rekening te houden met de perceptie van de unisensoriële akoestische en visuele stimuluscomponenten.

Er zijn vele varianten van het McGurk-effect (McGurk en MacDonald, 1976; MacDonald en McGurk, 1978)1. Het bekendste geval is wanneer het nasynchroniseren van een spreekstem op een articulerend gezicht resulteert in het horen . Dit wordt het fusie-effect genoemd, omdat de perceptie verschilt van de akoestische en visuele componenten. Veel onderzoekers hebben het McGurk-effect uitsluitend als fusie-effect gedefinieerd omdat integratie hier resulteert in de perceptie van een derde medeklinker, waarbij de informatie van auditie en visie duidelijk worden samengevoegd (van Wassenhove et al., 2007; Keil et al., 2012; Setti et al., 2013). Deze definitie negeert het feit dat andere incongruente audiovisuele stimuli verschillende soorten percepties produceren. Bijvoorbeeld, een omgekeerde combinatie van deze medeklinkers, AV, wordt gehoord als , d.w.z., de visuele en auditieve componenten na elkaar. Er zijn andere combinaties, die resulteren in het horen volgens de visuele component, b.v. akoestisch gepresenteerd met visueel wordt gehoord als . Hier is mijn eerste bewering dat de definitie van het McGurk effect moet zijn dat een akoestische uiting wordt gehoord als een andere uiting wanneer gepresenteerd met discrepante visuele articulatie. Deze definitie omvat alle varianten van de illusie, en is gebruikt door MacDonald en McGurk (1978) zelf, maar ook door verscheidene anderen (bijv. Rosenblum en Saldaña, 1996; Brancazio et al., 2003). De verschillende varianten van het McGurk-effect vertegenwoordigen het resultaat van audiovisuele integratie. Wanneer integratie plaatsvindt, resulteert dit in een verenigd percept, zonder toegang tot de individuele componenten die bijdroegen aan het percept. Wanneer het McGurk-effect optreedt, heeft de waarnemer dus de subjectieve ervaring een bepaalde uiting te horen, ook al wordt akoestisch een andere uiting gepresenteerd.

Eén probleem met deze interpretatie van het McGurk-effect is dat het onmogelijk is om er zeker van te zijn dat de antwoorden die de waarnemer geeft, overeenkomen met de werkelijke percepties. Het echte McGurk effect ontstaat door multisensorische integratie, resulterend in een veranderd auditief percept. Als er echter geen integratie plaatsvindt, kan de waarnemer de componenten afzonderlijk waarnemen en ervoor kiezen te reageren op basis van wat hij heeft gehoord of op basis van wat hij heeft gezien. Dit is een van de redenen waarom het fusie-effect zo aantrekkelijk is: Als de waarnemer een waarneming rapporteert die verschilt van beide stimuluscomponenten, lijkt hij niet te vertrouwen op één van beide modaliteiten alleen, maar in plaats daarvan de informatie van beide werkelijk te versmelten. Deze benadering garandeert echter net zo min als de andere varianten van de illusie een eenduidige maat voor de integratie, zoals hieronder wordt betoogd.

De tweede hoofdclaim hier is dat bij de interpretatie van het McGurk-effect rekening moet worden gehouden met de perceptie van de akoestische en visuele stimuluscomponenten. Deze kwestie is eerder uitgewerkt in het uitgebreide werk van Massaro en collega’s (Massaro, 1998) en anderen (Sekiyama en Tohkura, 1991; Green en Norrix, 1997; Jiang en Bernstein, 2011). Het is belangrijk omdat de identificatienauwkeurigheid van unisensorische componenten wordt weerspiegeld in audiovisuele spraakperceptie.

In het algemeen wordt aangenomen dat de sterkte van het McGurk-effect toeneemt wanneer het aandeel van reacties volgens de akoestische component afneemt en/of wanneer het aandeel van fusiereacties toeneemt. Dat wil zeggen, het McGurk-effect voor stimulus AV wordt als sterker beschouwd wanneer minder B-antwoorden en/of meer D-antwoorden worden gegeven. Dit is vaak een adequate manier om de sterkte van het McGurk-effect te meten – als men in gedachten houdt dat het impliciet veronderstelt dat de perceptie van de akoestische en visuele componenten accuraat is (of ten minste constant is over de condities die worden vergeleken). Het kan echter tot onjuiste conclusies leiden als deze veronderstelling niet opgaat.

Het fusie-effect is een uitstekend voorbeeld van dit voorbehoud. Het is zo geïnterpreteerd dat akoestische en visuele informatie wordt geïntegreerd om een nieuw, intermediair percept te produceren. Bijvoorbeeld, wanneer AV wordt gehoord als , wordt gedacht dat het percept ontstaat als gevolg van fusie van de kenmerken (voor de plaats van articulatie) geleverd via auditie (bilabiaal) en visie (velaar), zodat een andere, intermediaire consonant (alveolair) wordt waargenomen (van Wassenhove, 2013). Echter, al McGurk en MacDonald (1976) schreven zelf dat “lip movements for are frequently misread as ,” ook al maten zij helaas geen spraakleesprestaties. Het weglaten van de unisensorische visuele conditie in de oorspronkelijke studie is een factor die heeft bijgedragen tot de sterke status van het fusie-effect als het enige echte McGurk-effect, dat echte integratie weerspiegelt. Toch, als visueel wordt verward met , is het helemaal niet verrassend of bijzonder als AV wordt waargenomen als .

Om de bijdrage van de unisensorische componenten meer expliciet aan te tonen, neem ik twee voorbeelden van mijn onderzoek, waarin fusion-type stimuli verschillende percepties produceerden, afhankelijk van de helderheid van de visuele component. In één studie werd een McGurk-stimulus AV voornamelijk gehoord als een fusie (Tiippana et al., 2004). Dit weerspiegelde het feit dat in een visuele-alleen identificatie taak, het visuele werd verward met (42% K responsen en 45% T responsen op visueel ). In een andere studie werd een McGurk stimulus AV voornamelijk gehoord als , en dit kon worden herleid tot het feit dat in een alleen visuele identificatie taak, het visuele duidelijk te onderscheiden was van , en dus zeer nauwkeurig werd herkend (100% correct bij typische volwassenen; Saalasti et al., 2012; maar let op het afwijkende gedrag van individuen met het syndroom van Asperger). Dus hoewel de McGurk-stimuli van een fusietype waren in beide studies, verschilde hun perceptie grotendeels afhankelijk van de helderheid van de visuele componenten. Deze bevindingen onderstrepen het belang van het kennen van de perceptuele kwaliteiten van de unisensorische stimuli alvorens conclusies te trekken over multisensorische integratie.

Precies hoe rekening te houden met de eigenschappen van de unisensorische componenten bij multisensorische perceptie van spraak valt buiten het bestek van dit artikel. Om deze kwestie in detail aan te pakken zijn zorgvuldig opgezette experimentele studies nodig (Bertelson et al., 2003; Alsius et al., 2005), computationele modellering (Massaro, 1998; Schwartz, 2010), en onderzoek van de onderliggende hersenmechanismen (Sams et al., 1991; Skipper et al., 2007). De belangrijkste richtlijn is echter dat unisensorische perceptie van stimuluscomponenten wordt weerspiegeld in multisensorische perceptie van het geheel (Ernst en Bülthoff, 2004).

Tijdens experimenten, wanneer de taak is om te rapporteren wat er werd gehoord, rapporteert de waarnemer het bewuste auditieve percept dat werd opgeroepen door de audiovisuele stimulus. Als er geen multisensorische integratie of interactie is, is de perceptie identiek voor de audiovisuele stimulus en de alleen gepresenteerde auditieve component. Als er wel audiovisuele integratie is, verandert het bewuste auditieve percept. In welke mate visuele input de perceptie beïnvloedt hangt af van hoe coherent en betrouwbaar de informatie is die elke modaliteit levert. Coherente informatie wordt geïntegreerd en gewogen, bijvoorbeeld volgens de betrouwbaarheid van elke modaliteit, wat tot uiting komt in unisensorische discrimineerbaarheid.

Dit perceptuele proces is hetzelfde voor audiovisuele spraak – of het nu natuurlijke, congruente audiovisuele spraak is of kunstmatige, incongruente McGurk spraakstimuli. Het resultaat is het bewuste auditieve waarnemingsvermogen. Afhankelijk van het relatieve gewicht van het gehoor en het gezichtsvermogen, kan het resultaat voor McGurk-stimuli variëren van horen volgens de akoestische component (wanneer het gehoor betrouwbaarder is dan het gezichtsvermogen) tot fusie en combinatiepercepties (wanneer beide modaliteiten tot op zekere hoogte informatief zijn) tot horen volgens de visuele component (wanneer het gezichtsvermogen betrouwbaarder is dan het gehoor). Congruente audiovisuele spraak wordt niet anders behandeld en vertoont visuele invloed wanneer de auditieve betrouwbaarheid afneemt. De verschillende varianten van het McGurk effect zijn allemaal resultaten van ditzelfde perceptuele proces en weerspiegelen audiovisuele integratie.

Het McGurk effect is een uitstekend instrument om multisensorische integratie in spraakperceptie te onderzoeken. De belangrijkste boodschappen van dit opiniestuk zijn, ten eerste, dat het McGurk-effect moet worden gedefinieerd als een verandering in de auditieve perceptie als gevolg van incongruente visuele spraak, zodat waarnemers een ander spraakklank horen dan wat de stem uitsprak, en ten tweede, dat de perceptuele eigenschappen van de akoestische en visuele stimuluscomponenten in aanmerking moeten worden genomen bij het interpreteren van het McGurk-effect als een weerspiegeling van integratie.

Conflict of Interest Statement

De auteur verklaart dat het onderzoek werd uitgevoerd in de afwezigheid van enige commerciële of financiële relaties die zouden kunnen worden opgevat als een potentieel belangenconflict.

Acknowledgment

Dit onderzoek werd gefinancierd door een subsidie van de Universiteit van Helsinki.

Footnotes