Waseda Weekly早稲田ウィークリー

フリースタイルラップにも不可欠!? ジェスチャーの役割とは

関根先生の専門であるマルチモーダルコミュニケーションとは、どのような研究分野なのでしょうか？

「マルチモーダル」とは、複数の“様式”のことを指します。つまり、言葉だけでなく、ジェスチャー、視線、表情、イントネーションなど、さまざまなモダリティ（様式）を用いた情報のやりとりをマルチモーダルコミュニケーションと呼んでいます。私たちは日常生活の中で、こうした複数のモダリティを自然に組み合わせて、情報をやりとりしています。

これまでも非言語コミュニケーションの研究は盛んに行われてきました。しかし、それぞれのモダリティが単独で研究対象として扱われることが多かったのが実状です。実際のコミュニケーションに目を向けると、複数のモダリティが同時に使用されていることに気付きますが、私はそうしたメッセージの生成や理解に関心があります。特に話しながら生成されるジェスチャーは、言葉だけでは伝えきれない情報を伝達する際によく使用されます。ジェスチャーが自身のメッセージ生成に寄与している可能性もあり、そのメカニズムにも興味を持っています。

マルチモーダルコミュニケーションの研究には、どのようにアプローチしているのでしょうか？

さまざまな研究者が残した心理言語学や認知科学の研究成果をベースに、情報伝達のみならず、思考や学習、記憶、発話処理に役立つ言語やジェスチャーの役割を探っています。

心理言語学は、人が言葉をどのように使い、理解し、習得していくかを研究する学問分野です。例えば、言語学が文法や語彙といった言語の構造や規則を研究するのに対し、心理言語学は人がどのように言語を処理し、産出するかという点にフォーカスしていて、言語以外の知識や認知・身体活動も関与していることが分かっています。

一方、認知科学は、人間がどのように情報を知覚・記憶・判断・言語化するのかといった、心の情報処理の仕組みを明らかにしようとする学際的な分野です。例えば、人が水たまりを前にして、「飛び越えられるかどうか」を判断する際には、自分の身体的能力や過去の経験と照らし合わせて、その可能性を予測する推論過程が働いています。このように、認知科学では身体や環境との相互作用の中で生じる知覚・思考・行動を重要な研究対象とします。その意味で、認知科学は「人間とは何か」を多面的に探る、私が所属する人間科学部らしい研究分野であるといえます。

心理言語学（psycholinguistics）や非言語（nonverbal）の研究に関する書籍

最近、特に力を入れているテーマは何ですか？

ジェスチャーは単なる情報伝達の手段ではなく、発話の産出や思考過程そのものにも積極的に関与していると考えられるため、手の動きが発話をどのように促進するのかについて、さまざまな実験的検証を行っています。例えば、手を動かしながら話すことで、語彙検索や文の構築が促進されたり、流ちょうに話せるようになったりする仕組みの検証などです。最近では、MEG（脳磁図）を用いた神経科学的アプローチを通じて、ジェスチャーの有無により、発話中の脳活動がどう変化するかを解析しています。

関連して、フリースタイルラップのような即興性の高い言語活動と手の動きの関係を探る研究も行ったことがあります。プロのラッパーに協力してもらい、ジェスチャーを制限した状態でラップをしてもらう実験を行うと、韻の数が減ることが分かりました。

別の調査では、即興でラップしているときと、既存の持ち歌を歌っているときとでジェスチャーの質や量を比較しましたが、即興の方が圧倒的にジェスチャーが多く、特に動きや事物を描写するジェスチャーがよく使われていました。この結果は、持ち歌（記憶した台本のせりふを話す過程と類似）と異なり、即興的な発話活動（普段の会話の過程と類似）には、イメージを言語化したり、意図したメッセージにフィットした語彙を検索したりすることが必要となり、その過程で手の動きが重要な役割を担っていることを示唆しています。

画像左：Motion Captureで測定したジェスチャーの動きとその軌跡をプロットした図
画像右：別の実験で、ジェスチャー抑制のためにキーボードを抑えながら発話をしてもらっている様子。表示されているデータは発話の非流ちょう性を分類したもの

「観察」と「フィードバック」によって“コミュ力”が形成される

人は発達段階において、どのようにコミュニケーション能力（以下、コミュ力）を獲得していくのでしょう？

大きな要因の一つは「観察」です。子どもは周囲の大人のジェスチャーや表情を見て、情報や感情の伝達の仕方を学びます。「ジェスチャーが豊富な文化」とされるイタリアの研究協力者と国際研究チームを組み、イタリアと日本の幼児がどのようにジェスチャーを用いるのかについての比較観察を行いました。その結果、2〜3歳頃まではジェスチャー頻度に大きな差は見られず、むしろ日本の子どもの方がわずかに多くのジェスチャーを使用する傾向が確認されました。

この結果は、文化的な表現スタイルの違いは、幼児期よりも後の発達段階で形成される可能性を示唆しています。実際に日本では、小学生になると明示的にも暗示的にも姿勢を正す教育を受け、自己表現よりも調和を優先したコミュニケーションのマナーを教わります。例えば、他人の話を聞くときは手をももの上に置き、姿勢を正して真面目な顔で聞く、という具合ですね。こうした姿勢教育や周囲の大人の振る舞いの観察を通じて、日本の小学生のジェスチャーは次第に限定的になっていく可能性があります。

一方のイタリアでは、身体の使い方に関しては比較的自由なルールの下で教育を受けますし、周囲の大人も普段から驚くほど多くのジェスチャーを使用しています。このように、幼児期以降、周囲の観察を通じて、それぞれの文化特有のコミュニケーションが発達していくと考えられます。

イタリアと日本の子どものジェスチャー比較調査の様子。日本女児（左）、イタリア男児（右）ともに3歳で、櫛を説明するときに同じジェスチャーを使用している場面

もう一つは「周囲からのフィードバック」です。人は、自分の発した言葉やジェスチャー、表情に対して、相手がどのように反応するかを通じて、表現の仕方を学習します。心理学用語で「ディスプレールール（表示規則）」と呼ばれるものがあり、例えば「怒られているときは笑ってはいけない」とか、「公共の場では否定的な表情を抑制する」といった、文化的に共有されている感情の表し方を指します。これは特定の文化圏において、周囲の反応（フィードバック）が積み重ねられた結果としてできあがった社会のルールです。

個々人のコミュニケーションにおいても同様で、自分の振る舞いに対して周囲がネガティブな反応であればこれはまずいと気付いたり、ポジティブな反応であれば許容されていると認識したりする経験を重ねることで、コミュニケーションスタイルが確立していくのだと考えられます。

お辞儀の効果を調査した様子。お辞儀の有無により、話者の発声や相手への印象が変わり、電話越しであってもお辞儀をしたほうがより丁寧さが伝わることが分かった

また一般的には、誰とでも話ができるとか、会話を長く持続できるといった力がコミュ力だと思われがちですが、神戸女子学院大学名誉教授の内田樹先生は、「コミュニケーションがうまくいかなくなったときに、いかにそこから抜け出せるか」がコミュ力だと述べています。相手にうまく意図が伝わらないときに、別の表現を用いたり、表情を加えたり、ジェスチャーを用いたりなどの調整ができるかどうか。つまり、相手に自分の気持ちを伝えるために、いろいろな方法を試した経験の蓄積がコミュ力につながるのだと思います。

人目を気にせず、「つながるための実践」の積み重ねてほしい

関根先生が考える「コミュニケーション」とは？

「つながるための実践」だと考えています。他者とつながることで初めて得られる共感や信頼関係があります。例えば、自分から何らかのメッセージを発することで、同じ出身地、同じ趣味である人に見つけてもらえる可能性が高まります。そういう意味では、メッセージを込めたTシャツやキーホルダー一つでも他者とつながるためのきっかけになります。

また、言語だけでなく、アイコンタクトや身体の向け方、お辞儀など、ちょっとしたしぐさでも他者とつながることは可能です。例えば、お店でお釣りを受け取った際に軽くお辞儀をするだけでも、一瞬店員さんとつながる感覚が生まれます。こうした「つながるための実践」の積み重ねが、社会を作っていると考えています。

最後に早大生に向けてメッセージをお願いします。

人目を気にせず、自分の考えや気持ちを伝えてほしいですね。誰かとつながるためには、自分の中にある何かを表出しなければ始まりません。失敗しても構いません。大学時代というのは、失敗から学ぶことが推奨される時期でもあります。恥ずかしさを捨て、いろいろなことに果敢にチャレンジして、大いに失敗してください。

電車でお年寄りを見掛けて席を譲りたいと思っても、周囲に見られている中で断られるのが怖くて譲れないとか、授業中にうまく発言や質問ができないといったことも、多くは恥ずかしさと関係しているのではないでしょうか。こうした「恥ずかしい」を乗り越えれば、皆さんの学生生活は大きく変わっていくと思います。言葉に詰まってしまったら、ぜひジェスチャーや表情など、非言語的な手段も活用してみてください。まずは、人目を気にせず、「つながるための実践」を積み重ねていきましょう。