- 研究番号：24P51
- 研究分野：interdisciplinary
- 研究種別：プロジェクト研究
- 研究期間：2024年10月〜2027年09月
代表研究者
酒井 弘 教授
SAKAI Hiromu Professor
創造理工学部 英語教育センター
Center for English Language Education
URL：http://www.blit.sci.waseda.ac.jp/member.html
研究概要
神経活動から発話音声を解読してコミュニケーションに使用する技術開発は、神経系の疾病で運動機能が減衰し、発話が困難になったいわゆるロックアウト状態の障害者や、音声発話の流暢な産出が困難になった失語症患者の支援といった医療分野からの社会的要請に応えるものである。ただ、現状で発話音声の合成に使用される神経活動データは硬膜下電極から計測された頭蓋内脳波が中心であり、侵襲性が高いことが将来的な実用へ向けた課題である。非侵襲性の神経活動データ計測としては、現状ではfMRIが広く使用されているが、fMRIで計測する血流動態の変化と脳活動にはタイムラグがあるため、リアルタイムでの解読が難しいという課題がある。
本研究計画で使用する脳磁気は、時間的解像度と空間的解像度を高いレベルで兼ね備えているため、将来的にリアルタイムでの脳情報解読に結びつく可能性を秘めている。液体ヘリウムによる冷却を必要としない光ポンプ式量子センサーを用いた脳磁計が実用化され始めたこともあり、将来的な脳磁気の使用拡大が想定される。そこで本研究では、自然発話産出時の神経活動を脳磁計によって計測して得られた脳磁図を大規模言語モデルと組み合わせて解析することで、神経活動から発話をデコードする。具体的には、視聴した動画の内容を交互に対話相手に説明する課題遂行中の脳磁気と発話音声をデータとして収集し、大規模言語モデルから予測される発話と脳磁図から予測される発話を組み合わせることで、高精度で発話をデコードすることを目指す。
