McGurk and MacDonald (1976) は、視聴覚音声で起こる強力な多感覚錯覚を報告しました。 彼らは、子音を発声する音声を録音し、別の子音を発声する顔とダブらせた。 音声だけではよく認識できるのに、視覚的な音声とダブらせると別の子音として聞こえるのです。 この錯視はマクガーク効果と呼ばれている。 この錯視は何度も再現され、多くの研究のきっかけとなった。 なぜインパクトが大きいかというと、これが多感覚統合の顕著な実証だからである。 聴覚と視覚の情報が統合され、統一された統合知覚が得られることを示しているのです。 マクガーク効果の強さは、視聴覚統合の強さを反映していると考えることができるので、非常に有用な研究ツールである。 まず、マクガーク効果とは、不一致の視覚的発話によって引き起こされる聴覚的知覚のカテゴリー的変化であり、その結果、音声が言っていることとは別のことを聞いているという単一の知覚をもたらすと定義されるべきである。 第2に、マクガーク効果を解釈する際には、一義的な音響刺激と視覚刺激成分の知覚を考慮することが重要である。
マクガーク効果には多くの変種がある（McGurk and MacDonald, 1976; MacDonald and McGurk, 1978）1. 最もよく知られているのは、顔の表情に言っている声をダブらせると、.が聞こえるというケースである。 これは、音響成分と視覚成分で知覚が異なるため、融合効果と呼ばれている。 多くの研究者がマクガーク効果をもっぱら融合効果と定義しているのは、ここで統合すると第三子音が知覚され、明らかに聴覚と視覚の情報が融合するからです（van Wassenhove et al, 2007; Keil et al, 2012; Setti et al.、2013）。 この定義では、他の不一致の視聴覚刺激が異なるタイプの知覚を生み出すという事実を無視しています。 例えば、これらの子音を逆に組み合わせたAVは、 、すなわち、視覚と聴覚の成分が次々に現れるように聞こえます。 この他にも、視覚的成分に従って聞こえる組み合わせがあります。 ここでは、マクガーク効果の定義として、「視覚的調音と異なる音声を提示すると、音声が別の音声として聞こえる」とするのが第一の主張です。 この定義は、マクガート効果（MacDonald and McGurk, 1978）自身や他の研究者（Rosenblum and Saldaña, 1996; Brancazio et al, 2003）により使用されている。 マクガーク効果のさまざまなバリエーションは、視聴覚の統合の結果を表しています。 統合が行われると、知覚に貢献した個々の構成要素にアクセスすることなく、統一された知覚が得られます。 このように、マクガーク効果が生じると、別の発話が音響的に提示されているにもかかわらず、観察者はある発話を聞いたという主観的な体験をすることになる。
このマクガーク効果の解釈の1つの課題は、観察者の出す反応が実際の知覚に対応しているかどうかを確かめることが不可能であることである。 実際のマクガーク効果は、多感覚統合によって生じ、その結果、聴覚知覚が変化する。 しかし、統合が行われない場合、観察者は各構成要素を別々に知覚することができ、聞いたことに従って反応するか、見たことに従って反応するかのどちらかを選択することができる。 これが融合効果が魅力的な理由の一つである。 もし観察者が両方の刺激成分とは異なる知覚を報告した場合、どちらか一方だけに頼るのではなく、両方の情報を本当に融合しているように見えるのです。 しかし、この方法は、以下に述べるように、他の錯視の変種と同様に、統合の直接的な尺度を保証するものではない。
ここでの第2の主な主張は、マクガーク効果を解釈する際に、音響刺激成分と視覚刺激成分の知覚を考慮しなければならない、ということである。 この問題については、以前にMassaroらによる広範な研究（Massaro, 1998）やその他の研究（Sekiyama and Tohkura, 1991; Green and Norrix, 1997; Jiang and Bernstein, 2011）で詳しく説明されています。 一般に、音響成分による反応の割合が減少すると、あるいは融合反応の割合が増加すると、マクガーク効果の強さは増加すると考えられている。 すなわち、刺激AVに対するマクガーク効果は、B応答が少なく、かつ／またはD応答が多いほど強いと考えられる。 これは、音響成分と視覚成分の知覚が正確である（あるいは、少なくとも比較する条件間で一定である）ことを暗黙の前提としていることに留意すれば、マクガーク効果の強さを測定する適切な方法であることが多い。 しかし、この仮定が成り立たない場合、誤った結論を導く可能性がある。
融合効果はこの注意点の典型的な例を示している。 これは、音響と視覚の情報が統合され、新しい中間的な知覚を生み出すことを意味すると解釈されている。 例えば、AVを 、と聞いた場合、聴覚（bilabial）と視覚（velar）から得られる特徴（調音位置）が融合され、異なる中間的な子音（alveolar）が知覚されると考えられています（van Wassenhove, 2013）。 しかし、すでにMcGurk and MacDonald (1976) 自身が、残念ながら読話能力を測定していないにもかかわらず、「lip movements for は頻繁に , と誤読される」と書いています。 元の研究で一感覚視覚条件が省略されていたことも、真の統合を反映した唯一の真のマクガーク効果として融合効果の地位が強くなった要因の一つであると思われます。 それでも、視覚が , と混同されるなら、AVが .と知覚されても全く不思議でも特別でもありません
単感覚成分の寄与をより明確に示すために、融合型刺激が視覚成分の明瞭さによって異なる知覚をもたらした私の研究例を2つ取り上げます。 ある研究では、マクガーク刺激AVは主に融合型として聴取されました（Tiippana et al.、2004）。 これは、視覚のみの識別課題において、視覚と混同されたことを反映している（視覚に対してK反応42％、T反応45％）。 別の研究では、マクガーク刺激AVは主に 、と聞こえたが、これは視覚のみの識別課題で、視覚が 、と明確に区別され、非常に正確に認識されたことに起因すると考えられる（定型成人では100％正解、Saalastiら、2012、ただしアスペルガー症候群の人の逸脱行動に注意）。 このように、両研究でマクガーク刺激は融合型であったにもかかわらず、視覚成分の明瞭さによってその知覚は大きく異なっていたのです。 これらの知見は、多感覚統合の結論を出す前に、単感覚刺激の知覚特性を知ることの重要性を強調している。 この問題に詳細に取り組むには、慎重に設計された実験的研究（Bertelson et al. しかし、刺激成分の一義的な知覚が全体の多義的な知覚に反映されることが大きな指針となっている(Ernst and Bülthoff, 2004)。
実験中、何が聞こえたかを報告するという課題がある場合、観察者は視聴覚刺激によって喚起された意識的な聴覚知覚を報告する。 多感覚統合や相互作用がない場合、視聴覚刺激と聴覚成分が単独で提示された場合の知覚は同一である。 視聴覚の統合がある場合、意識的な聴覚の知覚は変化する。 視覚入力が知覚にどの程度影響するかは、それぞれのモダリティが提供する情報の一貫性と信頼性に依存する。 このような知覚のプロセスは、自然で一致した音声刺激であっても、人工的で不一致のMcGurk音声刺激であっても、視聴覚音声の場合と同じである。 その結果が意識的な聴覚認識です。 聴覚と視覚の相対的な重み付けによって、マクガーク刺激の結果は、音響成分による聴覚（聴覚が視覚よりも信頼できる場合）、融合および組み合わせ知覚（両方のモダリティがある程度情報を持つ場合）、視覚成分による聴覚（視覚が聴覚よりも信頼できる場合）のいずれかになります。 聴覚と視覚が一致した音声も同様に扱われ、聴覚の信頼性が低下すると視覚の影響を受ける。 マクガーク効果のさまざまなバリエーションは、すべてこの同じ知覚プロセスの結果であり、視聴覚統合を反映している。 この意見書の主なメッセージは、第一に、マクガーク効果は不一致の視覚的発話による聴覚的知覚の変化であり、観察者は声が発したものとは別の音声を聞くようになると定義すべきであること、第二に、マクガーク効果が統合を反映していると解釈する際には音響刺激と視覚刺激成分の知覚的特性を考慮すべきことである。
利益相反声明
著者は、潜在的な利益相反と解釈されうる商業的または金銭的関係がない状態で研究が行われたことを宣言する。
謝辞
この研究はヘルシンキ大学からの助成金によって行われた。
脚注
1. ^本稿では、各トピックに関する広範な文献の例として、いくつかの代表的な文献のみを挙げている。
Alsius, A., Navarra, J., Campbell, R., and Soto-Faraco, S. (2005). 音声の視聴覚統合は、高い注意力が要求されると失敗する。 Curr. 15, 839-843. doi: 10.1016/j.cub.2005.03.046
Pubmed Abstract | Pubmed Full Text | CrossRef Full Text
Bertelson, P., Vroomen, J., and De Gelder, B. (2003)（2013）. 聴覚的音声識別の視覚的再キャリブレーション：マクガーク残効。 Psychol. Sci. 14, 592-597. doi: 10.1046/j.0956-7976.2003.psci_1470.x
Pubmed Abstract | Pubmed Full Text | CrossRef Full Text
Brancazio, L., Miller, J. L. and Paré, M. A. (2003). 音素カテゴリの内部構造に対する視覚的影響. Percept. Psychophys. 65, 591-601. doi: 10.3758/BF03194585
Pubmed Abstract | Pubmed Full Text |Ref Full Text
Ernst, M. O., and Bülthoff, H. H. (2004)（2014）. ロバストな知覚への感覚の融合。 Trends Cogn. 8, 162-169. doi: 10.1016/j.tics.2004.02.002
Pubmed Abstract | Pubmed Full Text | CrossRef Full Text
Green, K. P., and Norrix, L. W. (1997). J. Speech Lang. Hear. 40, 646-665.
Pubmed Abstract | Pubmed Full Text
Jiang, J., and Bernstein, L.E. (2011). マクガーク効果およびその他の視聴覚音声統合効果の心理物理学的研究。 J. Exp. Psychol. Hum. Percept. Perform. 37, 1193-1209. doi: 10.1037/a0023100
Pubmed Abstract | Pubmed Full Text | RefRef Full Text
Keil, J., Muller, N., Ihssen, N., and Weisz, N. (2012). マクガーク効果の変動について：視聴覚統合は刺激前の脳の状態に依存する。 Cereb. Cortex 22, 221-231. doi: 10.1093/cercor/bhr125
Pubmed Abstract | Pubmed Full Text | CrossRef Full Text
MacDonald, J., and McGurk, H. (1978)（Media of Science）。 音声知覚過程における視覚的影響。 Percept. 24, 253-257. doi: 10.3758/BF03206096
Pubmed Abstract | Pubmed Full Text | CrossRef Full Text
Massaro, D. W. (1998). 話す顔を知覚する。 ケンブリッジ、マサチューセッツ州。 MIT Press.
McGurk, H., and MacDonald, J. (1976)。 唇を聞き、声を見る。 Nature 264, 746-748. doi: 10.1038/264746a0
Pubmed Abstract | Pubmed Full Text |Ref Full Text
Rosenblum, L. D., and Saldaña, H. M. (1996)（L. D. D., and S. M. (1996). 視覚的音声知覚のための運動学的プリミティブの視聴覚テスト。 J. Exp. Psychol. Hum. Percept. Perform. 22, 318-331. doi: 10.1037/0096-1523.22.2.318
Pubmed Abstract | Pubmed Full Text | CrossRef Full Text
Saalasti, S., Kätsyri, J., Tiippana, K., Laine-Hernandez, M., von Wendt, L.and Sams, M. (2012). アスペルガー症候群の成人の視聴覚的発話知覚と視線行動。 J. Autism Dev. Disord. 42, 1606-1615. doi: 10.1007/s10803-011-1400-0
Pubmed Abstract | Pubmed Full Text |Ref Full Text
Sams, M., Aulanko, R., Hämäläinen, M., Hari, R., Lounasmaa, O. V., Lu, S.-T.、et al. (1991). このような場合、「口唇の動きから得られる視覚情報が、ヒトの聴覚野の活動を変化させる。 Neurosci. Lett. 127, 141-145. doi: 10.1016/0304-3940(91)90914-F
Pubmed Abstract | Pubmed Full Text | CrossRef Full Text
Schwartz,J. L. (2010). 音声知覚における視聴覚融合は被験者依存であることをMcGurkデータの再解析により示唆した。 J. Acoust. Soc. Am. 127, 1584-1594. doi: 10.1121/1.3293001
Pubmed Abstract | Pubmed Full Text |Ref Full Text
Sekiyama, K., and Tohkura, Y. (1991). 非英語系リスナーにおけるマクガーク効果：聴覚的明瞭度の高い日本語音節を聞く日本人被験者には視覚的効果がほとんどない。 J. Acoust. 90, 1797-1805.
Pubmed Abstract | Pubmed Full Text
Setti, A., Burke, K. E., Kenny, R., and Newell, F. N. (2013). 高齢者における多感覚音声錯視に対する感受性は、知覚プロセスによって駆動される。 Front. Psychol. 4:575. doi: 10.3389/fpsyg.2013.00575
Pubmed Abstract | Pubmed Full Text |Ref Full Text
Skipper, J. I., van Wassenhove, V..Nusbaum, H. C., and Small, S. L. (2007). 唇を聞き、声を見る：音声生成をサポートする皮質領域が視聴覚音声知覚をどのように媒介するか。 Cereb. Cortex 17, 2387-2399. doi: 10.1093/cercor/bhl147
Pubmed Abstract | Pubmed Full Text | CrossRef Full Text
Tiippana, K., Andersen, T. S., and Sams, M. (2004). 視覚的注意は視聴覚的な音声知覚を調節する。 Eur. J. Cogn. Psychol. 16, 457-472. doi: 10.1080/09541440340000268
Pubmed Abstract | Pubmed Full Text |Ref Full Text
van Wassenhove, V. (2013). 耳と目を通して話す：感覚とスーパーモーダルな脳とのインターフェイス。 Front. Psychol. 4:388. doi: 10.3389/fpsyg.2013.00388
Pubmed Abstract | Pubmed Full Text |Ref Full Text
van Wassenhove, V., Grant, K. W., and Poeppel, D. (2007). 視覚的音声知覚における統合の時間的窓 Neuropsychologia 45, 598-607. doi: 10.1016/j.neuropsychologia.2006.01.001
Pubmed Abstract | Pubmed Full Text | RefRef Full Text