マガーク効果とは｜視覚が聴覚を書き換える多感覚知覚をわかりやすく解説

マガーク効果とは

マガーク効果（McGurk Effect）とは、視覚情報（口の動き）と聴覚情報（音）が統合され、別の音として知覚される現象です。耳で聞いた音が口の動きと統合されて別の音に知覚されます。仕組みを知っていても錯覚は弱まりにくいとされます。

1976年にハリー・マガークとジョン・マクドナルドが発見した現象で、映像の「ガ（ga）」の口の動きに「バ（ba）」の音声を合わせると、多くの人が「ダ（da）」と知覚します。

仕組みを知っていても錯覚は弱まりにくく、知覚の自動性を示します。（出典：McGurk & MacDonald, 1976）

マガーク効果のメカニズム

マガーク効果は、脳が「耳から入る音」と「目で見る口の動き」を別々に処理するのではなく、1つの会話情報としてまとめて判断することで起こります。

通常の会話では、聞こえる音と口の動きは一致しています。しかし実験のように、音声と口の動きをわざとずらすと、脳が両方の情報をすり合わせ、実際とは違う音として知覚することがあります。

脳内では、上側頭溝（STS）などの領域が視覚と聴覚の統合に関わると考えられています。ただし記事では、まず「口の動きが聞こえ方に影響する現象」と押さえると分かりやすいでしょう。

マガーク効果の強さには個人差があります。日本語話者では英語話者より効果が弱い傾向が一部の研究で報告されています。（出典：Sekiyama, K., & Tohkura, Y. (1991)）なお、自閉スペクトラム症（ASD）の研究では視聴覚統合のパターンが異なる場合がありますが、一般化には注意が必要です。

腹話術効果との違い

視聴覚統合の現象として、マガーク効果と腹話術効果（Ventriloquism Effect）がよく比較されます。

簡単にいうと、マガーク効果は「何の音に聞こえるか」が変わる現象、腹話術効果は「音がどこから聞こえるか」が変わる現象です。

マガーク効果の具体例

ここではマガーク効果が日常・コミュニケーション・メディアでどのように現れるかを具体例で説明します。

具体例#1日常
騒がしい場所での会話

居酒屋や駅など騒がしい場所では、相手の声だけでなく、口元や表情を見ることで言葉を聞き取りやすくなることがあります。

私たちは会話中、耳から入る音だけでなく、口の動きや表情などの視覚情報も手がかりにしています。相手の口元が見えると、聞こえにくい音を補って理解しやすくなります。

これはマガーク効果そのものというより、同じ視聴覚統合が日常の聞き取りに働く例です。マスク着用や後ろ向きの会話で聞き取りづらくなる一因も、口元の情報が減ることにあります。

具体例#2メディア
映像の吹き替え・口パク問題

映画の吹き替えや口パク映像で、口の動きと音声がずれていると、会話が不自然に感じられることがあります。

これは、脳が「聞こえる音」と「見えている口の動き」を一緒に処理しているためです。映像と音声が合っていないと、視覚と聴覚の情報が食い違い、違和感として知覚されます。

そのため、映像制作では唇の同期（リップシンク）が重要になります。自然な吹き替えでは、口の動きと音声が合うように細かく調整されています。

具体例#3聴覚障害支援
読唇術｜口の動きから音声を補う

読唇術では、相手の口の形や動きを見て、聞こえにくい音声情報を補うことがあります。

口の動きには、どの音を発しているかを推測する手がかりが含まれています。音だけでは分かりにくい場面でも、視覚情報を組み合わせることで会話の理解を助ける場合があります。

これはマガーク効果そのものではありませんが、視覚情報が音声理解に関わる点で関連しています。ただし、読唇術だけで会話を完全に理解できるわけではなく、効果や限界には個人差があります。

マガーク効果に関連する概念

マガーク効果を理解するには、視覚と聴覚がどのように統合されるかだけでなく、注意や錯覚との関係も押さえておくと分かりやすくなります。

マガーク効果を活かす方法

マガーク効果を知ると、聞き取りにくい場面では音だけに頼らず、視覚情報も手がかりにすると理解しやすくなります。ここでは日常で活かしやすいポイントを整理します。