国立研究開発法人 産業技術総合研究所【理事長 中鉢 良治】（以下「産総研」という）人間情報研究部門【研究部門長 佐藤 洋】ニューロリハビリテーション研究グループ 林 隆介 主任研究員は、国立大学法人 東京大学【総長 五神 真】（以下「東大」という）大学院人文社会系研究科 村上 郁也 教授とともに、脳内の処理経路や処理時間が異なる感覚情報が、どのように統合されて、「我々が感じる現在」＝主観的な現在が構築されるのか、その仕組みの一端を明らかにした。
錯覚にはさまざまな種類がある。フラッシュラグ効果も錯覚の一つで、ある出来事と同時に見えたと“思った”映像が、実際には異なる時刻の映像である錯覚として知られる。今回、この錯覚をヒントに、心理学的逆相関法という手法を用いて、どの時刻の映像が、ある出来事（突然のフラッシュ光やクリック音の出現）と同時だと判断されるのかを計測した。その結果、フラッシュ光と同時に見えたと思った映像の実際の時刻と、フラッシュ光の時刻とのずれは、その映像を脳が処理する時間に依存して、映像の種類ごとに異なることがわかった。一方、視覚と聴覚の情報は直接統合できないため、クリック音と同時だと判断されるのは、映像の種類によらず、音に気付いた時刻（＝音の実際の時刻より後）の映像を同時と判断することがわかった。実験によって得たこれらの発見により、身近な錯覚の背後にある、人間が時間を判断する仕組みの一端が明らかになった。この研究成果は、ヒューマンエラーによる事故やトラブルの防止への貢献が期待される。
なお、この研究の詳細は、2019年3月7日（英国時間）に国際学術雑誌Scientific Reportsにオンライン掲載される。
 |
|
映像の種類によって同時と判断される時刻が異なることを発見 |
われわれは、目から受け取った視覚情報を、脳内で段階的に処理することによって「何が見えているか」を認識することができる。例えば、棒の傾きといった単純な視覚情報は大脳皮質の低次な視覚野で早い段階から処理が始まるのに対し、顔の識別に関わる複雑な情報は高次な視覚野で遅い段階になってから処理されることが知られている。しかし、処理時間の異なるさまざまな視覚情報が、どのような仕組みで統合されているかは解明されていない。また、視覚情報と聴覚情報は、脳内の異なる経路を通って別々に処理されるが、こうした異なる感覚情報がどのように統合され、主観的な現在を形成しているのかもわかっていない。これらの仕組みを解明するためには、人間の主観的な時間判断を心理実験によって計測する必要がある。
ある出来事が知覚されたとき、実際には異なる時刻の映像が同時と判断されてしまう錯覚として、フラッシュラグ効果がある。これは、一瞬だけフラッシュが光ったとき、動いている物体がフラッシュの出現よりも時間的に先に進んだ位置に知覚される錯覚である。この錯覚は、われわれの日常生活にも潜んでおり、例えばサッカーのオフサイド判定の誤審を引き起こしている可能性が指摘されている。フラッシュラグ効果は、動く物体の位置だけでなく、時間変化する色や縞の細かさといった視覚内容に対しても生じることや、一瞬だけクリック音を鳴らす場合でも聴覚版フラッシュラグ効果が生じることが知られている。
これまでのフラッシュラグ効果の研究では、脳内の処理段階が大きく異なる視覚情報を使った比較は行われてこなかった。また、聴覚版フラッシュラグ効果は、視覚版の延長として捉えられ、異なる感覚情報を統合する際の差異について検討されてこなかった。時間の判断基準となるフラッシュ光やクリック音に対し、どの時刻の映像が同時と判断されるのか、映像の内容を変えて体系的に測定することで、フラッシュラグ効果の背後にある、より広範囲な時間の錯覚が明らかになり、時間判断の仕組みの一端を解明できる可能性がある。
そこで今回、産総研と東大は心理学的逆相関法という手法を使って、時間変化する映像について、どの時刻の映像がフラッシュ光やクリック音と同時と判断されるのか直接検証することとした。
なお、本研究は、科学研究費助成事業 新学術領域 こころの時間学「物体視覚情報の時間的統合を支える神経メカニズムの解明」（平成26～27年度）、多元質感知「深層ニューラルネットを用いた質感的不協和の神経情報表現の解明」（平成30～31年度）、顔身体学「深層学習による顔・身体画像表現の異文化差の解明」（平成30～31年度）、時間生成学「知覚や行動に伴う心的時間の脳内機構とその操作」（平成30～34年度）ならびに国立研究開発法人 新エネルギー・産業技術総合開発機構の委託事業「次世代人工知能・ロボット中核技術開発」（平成28～31年度）による支援を受けて行った。
実験参加者は、100ミリ秒おきに画像がランダムに切り替わる約2000ミリ秒の映像を観察し、その途中で突然出現するフラッシュ光やクリック音と同時に見えたと“思う”映像の内容を回答した（図1a））。観察した映像は、１）棒の傾きが左右に変化する映像、２）顔の向きが左右に変化する映像、３）顔が人物Aから人物Bの間でモーフィング操作によって変化する映像の三種類である。実験参加者は、それぞれの映像に対し、１）棒の傾き（垂直より左か右か）、２）顔の向き（正面より左か右か）、３）顔の識別（人物Aか人物Bか）を二肢択一で回答する課題を行った（図1b））。フラッシュ光やクリック音のタイミング、表示される画像を毎回変えた映像を観察し、課題を繰り返し行った（各種類につき合計400回）。回答結果に基づき、どの時刻の映像がフラッシュ光やクリック音と同時と判断される確率が最も高いのかを心理学的逆相関法を用いて推定した。その結果、フラッシュ光と同時と判断される映像の実際の時刻は、映像の種類によって大きく異なった。
 |
|
図1 a) 心理実験の手続きと b) 実験で用いた三種類の映像と課題 |
棒の傾きを回答する場合、フラッシュ光の出現よりも後の時刻（42.9ミリ秒後）の映像が、同時と判断されていた（従来のフラッシュラグ効果と同じ）。一方、顔の向きを回答する場合は、フラッシュ光の出現とほぼ同時刻（13.5ミリ秒前）、顔の識別を回答する場合は、フラッシュ光の出現よりも“前”の時刻（83.3ミリ秒前）の映像が同時と判断されていた（従来のフラッシュラグ効果とは逆転した現象が生じた）。このことから、フラッシュ光に対しては、映像の種類によって、まったく異なる時刻（顔の識別を回答する場合と、棒の傾きを回答する場合では126.2ミリ秒の差）の映像が同時と判断されることが明らかになった。一方、クリック音に対しては、三種類の映像に対し、いずれもクリック音よりも後の時刻(47.8～82.2ミリ秒後で統計的には差がない)が同時と判断された。
以上の結果から、視覚と視覚のように同一感覚から得られた複数の情報を統合して時間を判断する場合と、聴覚と視覚のように異なる感覚から得られた複数の情報を統合して時間を判断する場合では、同時と感じる仕組みが異なることを初めて実験により明らかにした。同一感覚内では、映像の種類が違うと意識にのぼるまでに必要な処理時間に差があるため、異なる時刻の映像が同時と判断されると考えられる（図2a））。一方、異なる感覚間では、互いの情報を直接統合できないので、クリック音の出現に気づいた時刻（音の実際の時刻より後）に画面に表示されていた映像が同時と判断されると考えられる（図2b））。
 |
図2 a)同一感覚内（視覚―視覚）とb)異種感覚間（聴覚―視覚）の時間的統合メカニズムの模式図
矢印の長さは、内容がわかるまでに要する処理時間の長さを表す。 |
今後は脳機能活動を直接計測して、脳内の視覚情報処理の時間変化を詳細に調べ、知覚内容が意識にのぼる仕組みを解明する。一連の研究を通して、日常生活に潜む判断の誤りや錯覚による間違いの仕組みを解明し、ヒューマンエラーを防ぐための社会デザインやインターフェース技術の開発に貢献する。