Vol.3 応用言語学（2/3）【教育×技術のコラボレーション】異分野融合ゆえの研究ハードルと広がる可能性 / 澤木泰代教授・松山洋一氏

エピソード要約

-AI技術における社会的責任と説明責任の重要性
AI技術において、社会的責任と説明可能であること（Explainable AI）の重要性が増しており、言語テストの妥当性研究から多くのインスピレーションを受けている。「LANGX Speaking」の開発の母体となる研究では、人と一緒に進化していく、あるいは社会実装が本格化していく中でAIにどう説明責任を負わせるかが大きな課題になっていた。

-「Tutorial English」が松山氏に与えた影響
松山氏は早稲田大学在学中に受講した「Tutorial English」プログラムから大きな影響を受け、そのインタラクティブな授業の体験が会話AI技術の研究に繋がった。早稲田大学で学位を取得後、カーネギーメロン大学で会話AI研究を続け、帰国後は「Tutorial English」を用いた研究を中野美知子先生（元教育・総合科学学術院教授、現名誉教授）と共に開始し、英語スピーキング診断サービス「LANGX Speaking」の開発につなげた。

-「LANGX Speaking」を通じて生まれた異文化コラボレーション
「LANGX Speaking」開発を通じた澤木教授と松山氏のコラボレーションは、言語テストの妥当性研究とAI技術の融合である。異分野の連携に対する課題がありながらも、ディスカッションを通じてお互いの専門知識を活かし、社会に貢献できる技術の開発を進めてきた。

エピソード書き起こし

島岡教授（以降、島岡）：
まずは松山先生のご紹介をさせていただきます。
松山先生は早稲田大学基幹理工学研究科博士取得後、米国カーネギーメロン大学にてダボス会議公式パーソナルアシスタントプロジェクトをはじめ、会話AIエージェントに関する産学連携研究開発プロジェクトを率いています。
2019年に早稲田大学知覚情報システム研究所主任研究員に着任され、その研究成果をもとに2022年5月に株式会社エキュメノポリスを創業、ご専門は会話AI技術です。
今回のエピソードでは会話型AI技術と出会った言語テストの妥当性研究が切り開いた可能性についてお二人とお話をしていきたいと思います。
松山先生、前半のエピソードでは澤木先生へのメッセージをありがとうございました。前半のエピソードをお聞きになってのご感想をお聞かせいただけますでしょうか。

松山氏（以降、松山）：
改めて澤木先生のお話を聞いて、これまでの出会いから5年ぐらいですが、いろんなことを思い出しながらお聞きしていました。
またそういった我々のこのコラボレーションの原点というか、その技術的な基盤にもなったバックマン&パーマーの妥当性研究の理論も改めてお聞きして、色々と思うところがあるなと思っています。また次の展開へのイマジネーションも湧いているところで、今日はこれまでのことを振り返りながらまた次のコラボレーションのアイデアも広がるといいなと思っています。

島岡：
この「LANGX Speaking」の開発については本学における文理融合という観点でも非常に興味深い事例ですけども、松山先生のご専門である会話AI技術という分野からは言語テストの妥当性研究の価値をどのように捉えていますでしょうか。

松山：
このテストの妥当性の検証のワークフロー自体、どういうふうに何を検証していけばいいのかというところから、そのワークで実際にどうやって検証していくのか、という手続きも含めて、AI研究者としては非常にインスピレーションを受けてきました。
AIの分野は、ともすれば正確に判定結果なり、意思決定をすれば、はい、終了みたいなところが半分あるんですが、そうではなくてAIの分野としても社会的な責任が生まれてきている中で、どう説明責任を果たすかは大きな課題なのです。AI研究者はその辺にナイーブなところがあります。
実は我々のこのコラボレーションの背景にあるものがありまして、それがこの元々こういった説明可能なAI、英語で言うと「Explainable AI」という試みが世の中で動きとしてだいぶ前からあり、我々もそういった大きな流れの中にあって、実はこの「LANGX Speaking」の母体になる研究プロジェクト、NEDOの大型のファンドをいただきまして、そのプロジェクトの名前が『人とともに進化する次世代人工知能技術開発計画』で、そういった大きな枠の中で次世代の、人と一緒に進化していく、あるいは社会実装が本格化していくという中でそのAIにどう説明責任を負わせるかということが大きな社会的な課題になっています。
我々も会話AIをやっていますので、会話AIが人に分かりやすく説明をしてあげるなど、言わば納得感があるとか、信頼ができる会話AIを作るにはどうするかっていう大きな問いがあったわけです。その時に我々のグループは言語教育をテーマにとりまして、言ってみれば次世代のスピーキングテストを作る中で、貰ったスコアが、納得できるかとか、次にこれを勉強しようといった、言わば説明性の高いAI技術を作ることをもって、説明性の高いAIという本質的な研究と、実際にそうやって言語テストを作っていくことをもって社会的インパクトを出していくことを両立できるだろうということで始めた研究プロジェクトがございまして、これが実は我々の大きな背景になっていて、そういった中でやはりこの妥当性の研究の国内では第一人者の澤木先生に幸運にも出会うことができて、そこでだんだんと形を成してきたという経緯です。

島岡：
最初に教育分野へ松山先生のこの会話AI技術を取り込もうとしたのは何年ぐらい前になるんですか。

松山：
直接的には、実は私自身が先ほどご紹介ありましたように、早稲田で学位を取ってからアメリカにわたって、大体5年ぐらい、いわゆるポスドク研究員を続けていまして、一貫して会話AIの研究をしていたんですけれども、きっかけは ｢Tutorial English｣なんです。私もこの｢Tutorial English｣の卒業生でして、少し歴史を紐解きますと、大体1997年ぐらいから元早稲田大学の白井克彦総長および教育学部の中野美知子先生という方々が始められた先駆的な試み、英語教育の改革が源流にあり、それが2002年ぐらいですかね、このトライアルとして｢Tutorial English｣が始まりました。
これは全国的に見ても非常に先駆的な取り組みで、大学の中で英会話の授業を本格的に全学的にやるということは当時も大きなインパクトがありました。私は本当に初期のトライアルの時から参加しており、学部の学生の頃から受けてきたんですよね。それの影響は非常に大きくて、いわゆる受験英語をやってきた普通の学生だった私が、実際にそういった小規模なクラスの中で会話をして、なんか話せるじゃん、みたいな経験をしたことがすごく大きな原体験になりまして、その後のキャリアを開いてくれたところがあって、言わば私、｢Tutorial English｣の申し子だと思っています。勝手に自称してるんですけれども、私のキャリアを形成するうえですごいインパクトがあった授業だったんですよ。
このようにすごくいい授業だったということは覚えている中で、そういう最新の会話AI技術の現在、未来のことを考える中で、今ならああいうインタラクティブな授業を会話AI技術でいろんな面で支援できるだろうと直感しまして、それをやりたいなと、研究したいなということで日本に戻ってすぐその足でですね、この｢Tutorial English｣を作られた中野美知子先生のところに行って直談判しまして、これこれこういうものを会話AIでこうやってやっているんですけども、｢Tutorial English｣の場を借りていろんな技術を作る研究を一緒にさせてもらえませんかということをお願いして、その場で心よく中野先生はよしと。なんならお前みたいなものを待ってたぐらいの勢いでやりましょうってことを言っていただいて、そこから始まったんですね。それがちょうどコロナが始まる1年ぐらい前でした。今からもう5年以上前になるかと思いますが、それは私にとって非常に思い出深い出来事でして。その時は妥当性の「だ」の字も知らない、本当に英語教育なんか全く知らない、技術しか知らないような研究者で、手探りで始めてきたんですが、そのような中、当時グローバルエデュケーションセンターで英語を担当されていた澤木先生と幸運にも巡り会いまして、そこから実質的に始まってきたんです。澤木先生のゼミに弟子入りいたしまして、毎週ゼミに参加させてもらってですね、その末席でいろいろとさっきのバックマン&パーマーの分厚い本を一緒に輪読したり。難しいなと思いながら、でも非常に面白かったんですよね。そういった熱が今も続いているような形なんですけど、そういった経緯でこのプロジェクトは大きな背景とともに始まってきたということになりました。

島岡：
松山先生に澤木先生のご専門である言語テスト妥当性研究が「LANGX Speaking」の開発に連携するまでにどういう流れだったのかをお話いただいたんですが、澤木先生の方から見た連携までの経緯、これをお伺いします。澤木先生が最初に松山先生にお会いになったのはどんなきっかけだったんでしょうか。

澤木教授（以降、澤木）：
松山先生のお話に出てきましたけど、私は言語テスト研究をしておりますので、｢Tutorial English｣関係のお仕事は何度かさせていただいてました。
そこで関係者と（松山氏の）面識がございまして、アメリカから帰ってこられた方でこういう研究をされている方がいらっしゃって、スピーキングテストを作りたいという構想を持っていて、技術もお持ちだから一度お話ししてみませんかと言われたのが最初だったと思います。それで関係者と松山先生、私で初めてお話をしたということだと思うんですね。
ちょうどコロナの頃でZoomだと思うんですけど、その時のシチュエーションがどうしても頭に浮かばないんですよ。その時に話したことはよく覚えてるんですけど。

島岡：
まさにコロナ真っ最中の中で。

松山：
最初はそうだったんですけど、我々としてはまさにこういう方を求めていたというか、そのわずか1時間ぐらいだと思うんですけども、我々としては非常に意気投合して、我々も貢献させていただけるかなと思って、興奮してその日を終えたようなことは覚えています。

島岡：
なるほど、まさに早稲田の｢Tutorial English｣がつないだご縁。

松山：
まさにそうだと思います。

澤木：
その中でこれはすごいなと思ったのが、やはり新しいものを作るだけじゃなくて、いいものを作りたいということを松山先生は何度もおっしゃっていました。先ほど説明責任の話をされていましたけど、スピーキングのテスト、それも学習者が使うものを作るのであれば、英語教育の目から見た場合でもきちんとしたものを作りたいということで、先生がお考えだった方向性と言語テストの妥当性研究がピタッとはまったのかなって気がしますね。もうすごく私もエキサイティングだなと思いました。

松山：
おっしゃる通りで、言ってみれば技術は散々やってきたんですよね。その会話AI技術とかで、デモシステムはもう散々作って、飽きるほどというのは語弊がありますが、作って動くこともわかっていて、それを社会にどうやって着地させるか、実際に本当に世の中のためになるものを作りたいっていうことがあって日本に戻ってきたので、そういったことを専門にされている方と組んで、いいものを作りたいっていう気持ちだったんだと思うんですよね。

島岡：
一緒に連携を始められて、何か課題とかですね、異分野の連携になったと思うんですけど、そういうことは何かありましたでしょうか。

澤木：
そうですね、この集まりの場合、すごくインタラクションが多いんですよね。ディスカッションもすごく白熱しますし。最初の頃は全く違う分野から来たわけですから、そういう意味で意識疎通が難しいところはあったと。

島岡：
言語が違うとか。

澤木：
私もその会話AIっていうのは全く知りませんでしたので、どういうものなんだろうっていうので、不安も実は大きかったとんですね。なので、多分いろんな失礼な質問もしたと思うんですけど、そのディスカッションの中でそういうふうに投げかけるといつも松山先生は嫌がるのではなくて、「いや面白くなってきた」っておっしゃるんですよね。
なのでそういうところを徹底して話し合いましょうという形でコミュニケーションがすごくスムーズにいきましたし、それを重ねて理解できるもの、ベースが整ってきたのかなっていう気はしますね。

松山：
おっしゃる通りだと思います。やっぱり言葉を合わせるのに最初時間がかかったかなと思っていて、ただお互いに一緒にやっていきたいっていう気持ちはすごく強いメンバーで、澤木先生のゼミの方々と我々の研究グループが毎週顔を合わせて、今日はこのディスカッションをしましょうってことで、妥当性はそういう解釈をするんですね、機械学習の分野ではこうやってるんですよみたいなことだとか。何度か機械学習の講義をした覚えもあるんですよ。
当時、出たての生成型AIのニューラルネットワークの話をして、みんなからは宇宙から来たみたいな話だと思ったかもしれない、他の惑星から来たような話だったかもしれないんですけど、それはお互いにそんな印象だったと思うんですが、でも我々もそういった違った分野の方々に分かってもらえるように我々の分野のことを説明する努力をすると、何かいろいろと本質的なことも見えてきたり、あるいはアイデアが生まれるってことで、それは非常に面白い時期だったなと思うんですね。

島岡：
松山先生が面白くなってきた、なにかそのお互いの言葉が通じないとか、何か起きた時にそれを面白いって捉える松山先生の態度というかアプローチ。素朴な質問をどんどんする澤木先生のアプローチ。お互いにいいものを作りたいっていうビジョンを共有されていたという辺が必要だったんですかね、成功の。

松山：
やはりその人文系と全部まとめてしまうのは大変恐縮なんですけれども、妥当性って、妥当なものを測るのは当然だろうなってことは思ったんですけど、ここまで深い理論があるというか、示唆があるのかっていうところは、私としても非常に感動しました。なるほどこういうところまで考えなきゃいけないんだというところは、謙虚にAIの研究者としては、学ぶところが非常に多いなと思いました。

島岡：
なるほど、ありがとうございます。
この関係で何かお二人からもうちょっと話したいことはありますか。

澤木：
あとはその理論のベースでAUAという使っている理論があったというのがコミュニケーションのツールとしてすごく大きかったなと思います。
なので、それぞれの研究分野から来た研究者として、視点も違うわけですし経験も違うんですけど、でもそれがAUAに当てはめた時にじゃあどうしなきゃいけないのか、立ち戻るところがあったというか、なのでそれが今も結構コアになってます。

松山：
説明可能なAIという分野でもそういうことは議論され始めてはいたんですけど、ちょっと狭いというか、具体的な話になっちゃいますけども、ニューラルネットワークから出てくる結果をどういうふうに見るかということは技術的な研究が多いんですが、でもそれを実際に社会にどうやって分かってもらうか、そういった社会的な影響まで、その全体の仕組みの中に入れて考えるんだっていうことは、目から鱗だったんですよね。
ここが面白いと多分当時言ったんじゃないかと思うんですけど、これは我々の技術分野に対する示唆がすごく大きいと。今、例えば生成型のAIをいろんな大きな企業が作り始めて世に出してますが、実際作ってる人たちも中で何が起こってるか半分分からないなと思いながら、でも何かセーフティーのルールを作って、いってみれば妥当性検証というか、モデルと実際、これはこういうつもりで作りましたという文書が合わせて出てくる時代になってきたんです。
それって本当にテスト設計の人たちが昔からずっとやってきたことであり、そういう意味ではようやく追いついたというか、同じ道をたどってるのかなと思っていて。
そういう意味では特にこの言語テストのテストの分野、そういった妥当性検証という点においては非常に進んでるんだなと思ってます。

澤木：
Assessment Use Argumentっていうんですけども、論証モデルの一つですね。論証っていうのはその4つの観点があって、その観点がきちんと機能してるかっていうのを確認していくわけですけど、それを作る側の主張としてはこうです、それはできてる、という体でテストを作っていきますが、その反証を集めたりその反証をちゃんと覆すことができるかだったり、こちらの主張に対する裏付けとなる実証データを取ったりしながら、その論を積み上げていくっていう考え方なんですね。

島岡：
それがお二人の共通言語として作用したっていう。

松山：
最終的に長大な論文というか、文章になるんですね。我々からすれば厳しい質問ががんがん投げかけられてくるんですよ。この点は考えたのか、これはどうなんだ、誰のための何に影響を与えると思ってお前作っているんだ、みたいなことを聞かれるわけです。AUAの中では。それに対して我々は色んな証拠を出しながら、データを出しながら、ここはこうだから大丈夫だと思いますと説明することを繰り返し、長く時間もかかるんですよ。本当にパッと終わるものではなくて、本当に我々も実際運用しながらも検証はまだ続いていますし、たくさんの人に使ってもらわなきゃわからないこともあると思うので、今そういう意味ではまずは早稲田を舞台にして、実際に使っていただいて、そういった妥当性の検証の大きな一環でもあるとは思っています。

島岡：
先生方、一緒に論文とか書かれているんですか。

澤木：
はいと言っていいですかね。これから。共同執筆したっていうのはまだ例はないんですけど、これからは予定してます。

松山：
そうですね、いくつか学会の発表というところでは、同じ場に澤木先生と先日も国際テスト学会に行きまして、そこで一緒にシンポジウムを開いてですね、一緒に登壇してやってきました。

島岡：
やっぱり文理融合だと発表する場がなかなかないっていうことも言われたりするんですが、まさに今おっしゃられたようにシンポジウムみたいな形でまずはやっていきながら。

澤木：
言語テストという分野は、融合分野と申し上げていいのかなと思うんですけれども、応用言語学の中でも例えば心理学や工学系も少し入ったり、教育学が入ったり、いろんな分野に対して開かれています。ですので学会自体も様々な発表があって、松山先生のチームの方々も個人でも発表なさったり。やはりテクノロジーの利用というのは言語テストの中で大きいですので。

島岡：
どうやって学術の世界が進んでいるかということがわかりました。