人間科学学術院 関根和生准教授　撮影場所：所沢キャンパス

人間科学学術院・関根和生准教授の研究領域は、マルチモーダルコミュニケーション。
言語、身振り、表情、視線など、人間がコミュニケーションで用いる多様な「モダリティー（伝達媒体）」を対象に、心理言語学や認知科学の観点から、メッセージの生成と理解のプロセスの解明を目指している。

「これまでのコミュニケーションに関する研究では、それぞれのモダリティーごとに研究が行われてきました。しかし実生活において私たちは、複数のモダリティーを組み合わせながら情報をやり取りしています。複雑なマルチモーダルコミュニケーションの様相と産出、理解のメカニズムを解明するのが、私の研究の大きな目的。表面的な行動観察にとどまらず、メッセージの生成と理解の背景にある認知的処理や脳内の処理を明らかにしようとしています」

PI飛躍プログラムに採択された研究課題は、「身振りの発話促進機能に関する研究:行動・生理指標からの検討」。
関根准教授は海外のさまざまな機関で研究員として活動しながら、特に身振りと発話の関係性の解明に注力してきた。プロジェクトの発端となっているのは、「人はなぜ身振りをするのか」という問いだ。

「例えば電話で話す場合など、目の前に会話相手がいないにもかかわらず、私達は手を動かしながら話すことがあります。これは、誤解を恐れずに言えば、身振りが話すという行為に組み込まれているからだと考えられます。これまでの行動実験では、身振りが語彙の検索や概念の整理を促進させる、ということが示唆されてきました。ただ、実証的なエビデンスがまだまだ不足しています。行動実験のみでは、身振りが、概念化、語彙検索、発声といった発話の産出過程のどこに影響を与えているかがよくわかりませんし、その時間的推移についてもよくわかっていません。未知の部分を解き明かすには、脳波や脳磁図、脳画像によるアプローチが鍵となります。そこに踏み込むのが今回の研究課題です」

MEG（Magneto-Encephalo-Graphy／脳磁図）を用いた脳機能イメージング実験風景脳情報通信融合研究センター(CiNet)での撮影

現在、脳磁図（MEG）を用いた実験の結果、徐々に脳内での処理過程が解明されているという。

「身振りをしながら発話をすると、言語処理の負担が軽減され、発話の準備や実行の効率が向上することが、少しずつわかってきました。こうした知見の積み重ねによって、身振りは単なるコミュニケーション手段以上に、発話を支える重要な役割を担っている、ということが示せればといいなと思っています。身振りと発話産出の脳活動を扱う研究は、世界初のプロジェクトです。まだ入口に立った段階ですが、PI飛躍プログラムの採択を受け、研究を加速させたいと考えています」

認知科学領域で膨大なデータを収集するためには、高度な装置を備えた環境、人員やコストが必要になる。PI飛躍プログラムは、こうした障壁をどのように解消するのだろうか。

「身振りと発話に関する実験的研究では、どのような種類の身振りと発話が産出されたか、それらが時間的にどのように関係し合っているかを理解することが出発点になります。身振りと発話それぞれの書き起こしやアノテーションが必要となるため、分析には実際の発話時間の何倍もの時間を要します。例えば、下図のようなソフトウェアを用いながら、一つ一つの表現を検討したりします。PI飛躍プログラムの研究費は比較的使途が自由であるため、研究補助者の助けを借りることで、研究のスピードアップを図れるはずです。スピーディーなデータ処理が実現できれば、論文の発信、外部機関との連携、新たなアイデアの創出に時間を割くことができるため、独創的な研究領域の確立につなげられると期待しています」

行動アノテーションソフトウェアELANを用いた身振りと発話の時間的関係に関する分析

関根准教授は同研究を通じて、どのような世界を目指しているのだろうか。

「そもそも身振りは発話産出に寄与しているのか、寄与しているならば発話産出のどのプロセスを促進させているのか、という点を明らかにしたいと思っています。こうした知見は、『話す』という活動に向き合っている方々へ有益な情報を提供すると考えています。例えば、言語を獲得している子どもやそれを支援する大人、新しい言語を学習している第二言語習得者、失語症者やその評価や治療をする方、人前でのプレゼンや講演など、日頃から話すことに向き合っている方は数多くいます。話すことにチャレンジする方々に、身振りを用いたトレーニングを提供するなど、有益な支援の基盤を築きたいです。また、身振りの使用があまり顕著ではない日本では、ビデオ通話やプレゼン、面接など、日常的なコミュニケーションの改善にも役立てられるでしょう。身振り産出の脳内基盤を解明できれば、先駆的なイノベーションを起こせるはず。研究室を世界最先端のコミュニケーション研究機関へと成長させるべく、人材の発掘・育成にも努め、理論的・社会的貢献を目指していきます」