Vol.3 応用言語学（1/3）【英会話力をAI診断！】「LANGX Speaking」を支える”言語テスト妥当性研究”の真髄 / 澤木泰代教授

エピソード要約

-言語テストの妥当性を検証するには
澤木泰代教授は、言語テストの妥当性を専門に研究し、特にテストが意図通りに機能しているかを検証している。言語テストの妥当性を検証する際には、①実践の手順や採点の方法が一貫しているかどうか、②得られたテストのスコアは測りたい能力をきちんと捉えているかどうか、③そのテストのスコアがdecision makingに役立つかどうか、④そのテストを使ってdecision makingを行うことが学習者や教員、ひいては社会にとって良い影響をもたらすかどうかという4つの観点から行っていく。

-英語スピーキング診断サービス「LANGX Speaking」の特徴
「LANGX Speaking」はバーチャルエージェント「InteLLA」との対話形式で進行するのが特徴であり、テスト結果は数分から最大30分以内に6つの指標（表現の豊かさ、文法的正しさ、発音の良さ、流暢さ、一貫性、やりとり）に基づいて評価される。この6つの指標は国際的な英語レベルの判断基準のCEFRに準じており、指標ごとに詳細なフィードバックと総合評価が提供され、学習者のスピーキング能力を総合的に評価する仕組みとなっている。早稲田大学の語学授業「Tutorial English」にもプレースメントテストとして導入されていると同時に、文部科学省の取り組みの一環として中学高校の英語教育にも利用が広がっている。

-言語テスト妥当性研究の枠組みと今後の検証事項
言語テスト妥当性研究は、英語の4技能（リーディング、リスニング、スピーキング、ライティング）や語彙・文法など、さまざまなテストの質を検証する枠組みを提供している。テクノロジーを用いたテストでは、従来の人間によるテストと同じ能力を測定できるか、学習者が慣れていないために能力を発揮できないことがないかを検証する必要がある。「LANGX Speaking」のようなAIテストでは、人間の面接官との対話をどれだけ再現できるかが妥当性の重要なポイントとなる。AIを活用することでコスト削減が期待できる一方、質の高いテストを提供するために、テスト妥当性の検証が重要である。

エピソード書き起こし

島岡教授（以降、島岡）：
今回のエピソードではAIを使った英語スピーキング診断サービス｢LANGX Speaking｣の開発に深く関わり、言語テストの妥当性を専門に研究に取り組む早稲田大学教育・総合科学学術院 澤木泰代教授をゲストに、言語教育のAI活用を支える言語テスト妥当性研究の真髄をテーマにお話をお届けします。澤木先生よろしくお願いいたします。

澤木教授（以降、澤木）：
よろしくお願いします。

島岡：
まず先生のご専門である、言語テストの妥当性についてご説明いただけますでしょうか。

澤木：
このテストの妥当性というのは、あるテスト、英語のテストでも数学のテストでも何でもいいんですけど、そのテストが意図した通りにうまく機能しているかということを様々な方法で検証していくことを指します。
今日お話をする｢LANGX Speaking｣でも使っているのですが、この言語テストの妥当性を検証する理論はたくさんあるんですね。その中でもこの10年から15年の間に浸透してきた考え方で、論証モデルというのがありまして、それを私たちは使っています。私たちが使っているモデルの名前がAUAというんですけど、それを例にとって話をしますと、このAUAの中ではテストの妥当性を検証する上で、4つ、観点があるとしているんですね。
これを質問に落とし込むとテスト開発者としては、この4つの観点のことを考えながらテストを作るんですけど、まず1つ目はテストの実践の手順や、採点の方法が一貫しているかどうか、そして2つ目は得られたテストのスコアは測りたい能力をきちんと捉えているか、そして3つ目がスコア、いわゆるテスト結果というのは私たちいろんな意思決定、decision makingするために使うわけですけど、入試の合否判定だったりプレースメントだったり教室の先生だったらこのテスト、成績ちょっと良くなかったから、もう1回説明しようっていうdecisionですね、このテストのスコアというのはそういうdecision makingに役立つかということ。
そして最後がこのテストを使って、decision makingを行うことが学習者とか教員、そしてひいては社会にとって良い影響をもたらすか、この4つの観点から検証を行っていくわけです。
この4つの問いを立てて、それがどのぐらい私たちとして弁護できるのか、それがテスト開発者の立場ですよね、その前提でテストをデザインするんですけど、実際にそのテストが運用されるようになったら、それがどのぐらいきちんと確認できるかを、データを取りながら検証していくという、そのようなものになります。

島岡：
なるほどありがとうございます。一口に言語テストの妥当性といった場合にも、非常に理論的に裏付けられたものに基づいてる、ということが非常によくわかりました。
それではまず澤木先生のご専門の応用言語学、言語テストについてリスナーの皆さんにイメージを持っていただきたいと思います。ここで早稲田大学の研究者が始めたスタートアップ企業、株式会社エキュメノポリスがAIを使った英語スピーキング診断サービスとして｢LANGX Speaking｣というサービスを開発しております。この｢LANGX Speaking｣を支える基礎研究領域こそが澤木先生の専門である応用言語学、言語テストであるとお聞きしています。今、目の前に｢LANGX Speaking｣がありますので実際に動いている様子をお聞きください。

Intella(hereinafter, I*):Can you hear me?

Shimaoka(hereinafter, S*):Yes.

I*:Hello.

Hello.

I*:My name is InteLLA. Nice to meet you.
How are you today?

S*:I’m doing great, thank you.

I*:That’s great to hear.
Did you do anything today?

S*:Not much. I had a meeting in the morning, online.

I*:Hmm, that’s alright. Thanks for sharing.
Now I’ll tell you the instructions for the interview.
First, try to answer my questions as well as you can.
Secondly, try to speak as much as possible.
Do you understand?

S*:Yes, I understand.

I*:Great. Let’s start the interview.
So, what time did you wake up this morning?

S*:I woke up 5 a.m. today.

I*:Cool. What did you do after waking up?

S*:I checked my email and I took a shower and I had a breakfast.

I*:That’s nice. How many hours do you sleep?

S*:I normally sleep 6 to 7 hours.

I*:Oh, interesting. What did you do before going to bed?

S*:Not much. I read some books.

I*:Thank you for sharing.

島岡：
今、実際に「LANGX Speaking｣を使った様子をお聞きいただきました。
続きまして「LANGX Speaking｣についての概要、澤木先生のご専門である応用言語学・言語テスト妥当性の研究がどのように「LANGX Speaking｣の開発に関わったかについて、教えていただけますでしょうか。

澤木：
まずですね「LANGX Speaking｣とはなにかですが、早稲田大学の正規の授業で｢Tutorial English｣という授業があり、そちらにプレースメント、クラス分けのテストとして2023年度に導入したものです。｢Tutorial English｣は、珍しい形態だと思うんですけど、チューター1名に対して受講生は最大4名の少人数のクラスなんですね。その少人数で実践的な英会話が学べるという授業で学内の多くの学生たちが必修授業として履修しています。「LANGX Speaking｣というのは、今、お試しいただいたんですけれども、すごいところもたくさんお感じいただけたのかなと思うんですが、まず他のテストにないところとしては、ログインしたらすぐ自動でスピーキング、それもやりとりですね、マイクに向かって話をするだけではなくて、実際にInteLLAという名前のバーチャルエージェントと会話をすることができるということと、それから終わったらすぐにスコアが出てきます。

島岡：
なるほど。今私も実際に使わせていただきましたけれども、すごく自然な感じで対話ができるなと思いました。こちらの顔の表情も読み取っているぐらいの本当に人と話している感じがしました。あとはどういう評価が受け取れるんでしょうか。

澤木：
はい。この「LANGX Speaking｣を受けますと、そのあと多くの場合数分、時間かかっても30分ぐらいの間にスコアレポートが出てくるんですけど、そのスコアレポートの中では6つの指標について、このスピーキングの評価の結果が出てきます。指標というのが、まず、表現の豊かさ・文法的正しさ・発音の良さ・そして流暢さ・一貫性、そしてやりとりについてですね。
この6つの指標というのはヨーロッパ言語共通参照枠、日本語で言いますとCEFRとよく呼んでいるんですけど、そのCEFRの指標に従って6段階で評価をしています。ですので今の6つの指標についてCEFRの6段階のどこにあるか、総合点としてCEFRの6段階のどこにあるか、そして、コメントがその総合評価とそれぞれの6つの指標について出てくるような仕組みになっています。例えばなんですけど、フィードバックですね、発音の良さ、例えばこういうものが出てくるんですが、発音の良さとは発音の明瞭性や抑揚、リズムを用いて聞き取りやすく話すことができる能力です。あなたは発音特徴を使いこなし、聞き手が理解しやすいように話すことができるようです。このようなものが6つの指標について出てきて、総合評価も同じようにコメントが出てくるというものですね。

島岡：
なるほど。そういった総合的な評価がたったの数分で受け取れるって本当に素晴らしいですね。ありがとうございます。
ここで「LANGX Speaking｣の開発を手掛ける株式会社エキュメノポリス代表取締役で早稲田大学グリーン・コンピューティング・システム研究機構、客員研究員を務める松山洋一准教授より澤木先生の言語テスト妥当性研究の意義についてメッセージをいただいています。澤木先生、ぜひ一緒にお聞きください。

松山氏（以後、松山）：
博士一本前をお聞きの皆さん、澤木先生こんにちは。
「LANGX Speaking｣の開発を手掛ける株式会社エキュメノポリス代表取締役の松山洋一です。
私は早稲田大学や米国の大学で会話AIの研究を続けてきました。最近ではchatGPTに代表されるような、高度な言語処理やインタラクション能力を有する生成型の会話AI技術が社会を変え始めているというのは皆さんご承知のとおりだと思います。私はこのようなですね、高度な会話インタラクション技術の応用先として、特に言語コミュニケーション教育に着目しまして、この「LANGX Speaking｣のですね、元にある技術の開発に取り組んでまいりました。澤木先生とは大体5年ぐらい前に、このプロジェクトの本当に初期から共同研究をさせていただいてまいりました。この言語テスト妥当性研究は、言ってみれば社会的に影響力の大きなものを開発する上で、何が本当に妥当なのかを考えるための枠組みを、我々AI研究者にも与えてくれていると思っています。この人文科学の分野で深く研究されてきたテーマが、今ますます社会的な影響力を増していく一方の会話およびAI技術全般の最新研究を導いてくれているとも思っています。ぜひ今日は改めてこの対談で澤木先生とこのプロジェクトの経緯を振り返りながら、また今後の展望についてもディスカッションできればと思っています。

島岡：
松山先生から澤木先生への言語テスト妥当性研究に感じている意義や今後の期待や可能性についてコメントをいただきました。松山先生には後半のエピソードのゲストとしてお越しいただき、3人でお話ができればと思っています。
さて、澤木先生は「LANGX Speaking｣の開発プロジェクトの取り組みや「LANGX Speaking｣の誕生を言語テスト妥当性の研究者という立場からどのように捉えていますでしょうか。

澤木：
はい、そうですね。うまく表現するのは難しいですけど、一言で言うともう本当に嬉しいというのが感想です。というのも、最新技術を搭載したテストというだけではなくて、学習者にとってもすごく楽しいスピーキングテスト経験になるのかなというのもあるんですけど、それ以上に私がこれまで研究を続けてきたテスト妥当性の枠組みをデザイン段階から取り込んで、デザインされた、設計されたテストが作られたというのが本当にやはり嬉しいなと思います。
言語テスト研究というのは、妥当性を見る場合にテストが最初にあって、それを後から妥当性研究の枠組みを当てはめて検証することもできるんですけど、そうではなくて、デザイン段階から一緒に話をしながら作ることができたということですね。それが本当に良いなと思いますし、若い頃に私はいわゆる普通の1対1の英語のスピーキングテストの採点官と面接官をしていたんですね。それをやってきた身からすると、こういう日が来るんだと。それを見ることができたということと、それから昨年ですね、国際学会で松山先生、それからチームの皆さんが「LANGX Speaking」を発表された、その時の興奮を肌で感じまして、皆さん本当にすごいとおっしゃっていて、それを目にすることができたのが本当に嬉しいなと思いました。

島岡：
なるほど。そのすごいなというのは、一言で言うとどういうところですかね。

澤木：
松山先生がお持ちの会話AIの技術が形になっただけではなくて、言語テストをやっている研究者の目から見ても、きちんとしたといったら語弊があるかもしれないですが、デザイン的にいろんな要素が入っているし、きちんとそこが考えられた、そのようなものになったというところですね。またそれがきちんと動いて、ちゃんと評価が出て、結果が出て、運用されているというのがすごいなということかなと思いました。

島岡：
その現場のどよめきが聞こえるような感じですね。

澤木：
そうですね。

島岡：
言語テスト妥当性研究の研究対象は決してスピーキングに限った研究ではないとお聞きしております。改めて言語テスト妥当性研究という分野の研究対象の全体像や、その中でも特に澤木先生が注力されているテーマについて教えていただけますでしょうか。

澤木：
はい、言語テストといってもいろんな分野があるんですけれども、主に妥当性という視点から言語テストを見てますので、その中では冒頭にお話しましたように、いわゆる現在ですと論証モデルと言われるものが主流になってきまして、それを使ってスピーキングだけではなくて、さまざまなテストについて見ることができるわけです。ですので、英語4技能ですとリーディング・リスニング・スピーキング・ライティング、それから語彙・文法等がすぐ頭に浮かぶかと思いますが、どれを取っても妥当性の枠組みを使ってその質を検証することができるわけですね。
最近の動向としましては4技能を測るテストが多くなったというのが一つ、特徴としてあると思うんですね。例えば昔ですと、英語のテストだとリーディングとリスニングしかないとか、語彙・文法とリーディングとかだったと思うんですけど、今それが4技能のテストになってきたということ、そうなるとどういうことができるかというと、例えばこれはリーディング、これはリスニングではなくて、それを複数組み合わせる統合型のテストタスクが作れるんですね。ですので読んで書くとか、読んで聞いて話すとかいろんなことができます。私としてはそこが一番興味のあるところで、例えば私が前にかかわっていたTOEFL iBTというテストの中には、スピーキングとライティングのセクションの中にそのような統合型のタスクがあるんですけど、私の場合、実はライティングを自分の研究プロジェクトの中でかなり長くやっているものがあるんですが、それは読んで書くなんですね。読んで書くというのは、英文を読んでその要点を短く要約するという、要約を書くというものです。学術的なライティングをする際にはとても大事なものになりますので、私はそこにずっと興味を持ってやっているのですけど、そのような統合型のスキルを測るテストは、最近結構盛んになっていまして、私もそこで頑張ろうかなと思っているところです。

島岡：
なるほど。今、先生がおっしゃるような注力のテーマと具体的な研究アプローチについて、もうちょっとお聞きしたいのですが、先生の研究アプローチというのはどういうふうなアプローチを捉えているんですかね。言語テストの妥当性を高めるという目標に向かっていると思うんですけど。

澤木：
そうですね、これはそれぞれのテストによって、目的とか誰を対象にどういうふうに使うかで違ってくるんですけど、私の場合は大学生で大学のライティングの授業を取っていると、その中で要約の書き方について学ぶというシチュエーションをターゲットとして、その中で学生たちがより学びにつなげていける評価って何かということを考えながらやっています。ですので、テストというと授業が一通り終わって最後にポンと行われるテストがイメージとしてはわくかもしれないんですけど、私が目指しているのはそうではなくて、学びの中での評価ですね。これは形成的評価という言葉があるんですけれども、オンラインの教材といいますか形成的評価の教材を作っておりまして、その中で学生たちが要約をまず自力で書いてみる。そしてそれを一旦出すとまた戻ってくるんですけど、その後、いろんなフィードバックをもらいながらその要約の内容がちゃんとできているか、そして要約となると、原文のコピーがコピペになってしまっていないかとか、そういう観点から、さまざまなフィードバックをもらいつつ、自分の書いた要約を修正していく、その過程の中で学んでほしいというのがありまして。

島岡：
一回のやりとりではなくて本当にプロセスの中で学んでいくという。

澤木：
そうです。

島岡：
非常に興味深くお聞きいたしました。ありがとうございます。
それでは、次に会話型AIの登場によって英語教育の側面からも、今日も事例がありますが大きなブレークスルーをむかえている時かと思います。こうした技術的な進歩が言語テスト妥当性研究という先生の分野の研究活動にどのような影響をもたらしていると感じておられますでしょうか。

澤木：
言語テスト研究の中でテクノロジーの利用というのはもう20年30年くらい、いろいろ研究されてきていて、種類が増えました。それから例えばAI等を使ってできることが増えたということで、テストの手法が多様化しているんですね。例えば通常は今まで人間がやってきたことを、テクノロジーを使ってそれをやってもらうとなった時に、測っている能力が変わらないかとか、結局そのテストの手法に、学生たち、または英語学習者が慣れていないので力が発揮できないとか、そういうことがないかが懸案事項として上がってくるわけなんですね。テストの妥当性の研究をする時も、そのテクノロジーの影響というのを様々な観点から見るというところが加わったかなと思います。

島岡：
そうすると人間が必ずしもカバーできないようなスピード感とか内容とかクオリティとか、そういうものも含めて技術がカバーできるかどうか、それも含めた妥当性の検討という、そういう構造になるんでしょうかね。

澤木：
「LANGX Speaking｣を例に取ると、例えば人間の面接官と学習者が一対一で話をしているという状況が今まであったわけですね。それをどのぐらい再現できるのかというのが、テストの妥当性としてはとても大事なポイントになるわけです。それは私たち人間同士が通常会話をしていく中で必要な力を測るからそれが必要なんですけど、それと一緒に社会も変わっていくので、例えばアバターとの会話が普通になるかもしれないですよね。そうすると測るべきスピーキングの力も変わっていきますので、そこも確認しつつ深掘りしつつ、どういう手法でスピーキングの力を評価するのがいいのか、というのを考えていかなきゃいけないということになりますね。

島岡：
確かに。スピーキングする対象が変わっていくというのは本当に新しい視点ですよね。あとコスト面についてはどうでしょうか。

澤木：
そうですね、例えばスピーキングだと今まで一対一で試験官と学習者ですと、アポイントメントを取るのはお一人ずつ別々になりますよね。そうしますとやはりどうしても人的なコストがかかりますし、それからスピーキングのテストを人間の採点官が採点すると、そこにもコストが発生します。ですので例えば「LANGX Speaking｣のように、テストの実施もすべて自動で、採点も自動で行われるというのは、コストの面からするとものすごく削減にはなるんだと思いますね。それと同時に質の高いテストを提供することは必要ですので、その部分でテスト妥当性の面から問題がないかというのを同時に検証しながらということにはなるんですけれども。

島岡：
ありがとうございます、よくわかりました。今すごく素晴らしい点についてもいろいろお話いただいたんですが、テスト妥当性の論証という面で見た会話型AIの利点と課題、この辺はいかがでしょうか。

澤木：
利点は先ほどいろいろお話をしてしまいましたので、主に課題の話をしましょうか。課題というのは、例えば会話型AIは人間とのインタラクションにかなり近いものを島岡先生も先ほどご体験なさかったと思いますが、それが実際に会話分析等をした時に本当に自然な会話力を引き出せているのかというところですね。それから採点側に回りますと、人間が採点するときと機械が採点するとき、機械の採点モデルとして作成できるもの、それと人間の採点者が考えて採点できるもの、それがどのぐらい合致しているのかということですね。または人間が採点できているけれども、機械では採点しにくいところがあったり、逆に人間だと聞き分けられないけれども、機械では聞き分けられるところもあるかもしれないということですね。ですので懸念事項ばかりではなくて人間がやるスピーキングテストではできなかったことにも可能性が拓かれるわけですので、そちらもバランスよく見ながら研究をするということになるかと思います。

島岡：
まさに人間とAIの差をどういうふうに埋めるか、あるいは補完し合うか、この辺が先生のご研究と今回の松山先生の開発のコラボレーションということなんですかね。

澤木：
そうですね。

島岡：
ありがとうございます。ここまでの澤木先生のお話から先生の研究への深い思い入れを感じております。この領域を専門に研究することになったのには一体どういう経緯があったのか、ここをぜひお聞きしたいと思います。先生はまず公立中学校の教諭でキャリアを最初スタートされたと思うんですが。

澤木：
そうですね、大学時代、教育学部にいたんですけれども、そこで本当に魅力的な先生に出会ったり、教材開発が私はとても好きだったんですけど、それに没頭したりというのがありまして、ぜひ教壇に立ちたいという気持ちはすごく強かったんですね。それで卒業したら、まず教員になりたいなと。それも中学生というのはその頃ですと英語を初めて学ぶ子どもたちですので、まずその最初をやりたいというのがあって中学校の教員になりました。

島岡：
その後はどうなったんですかね。

澤木：
この後ですね、実はそれと同時に私研究もとても好きだったんですけれども、大学院に行ったきっかけが、実は学部時代のゼミの先生の後押しでした。自分でも興味を持ってやれた満足感があったんですけど、ぜひ大学院に行ってこれ続けたらっていうような形で、私が教員になった後も、大学院に行くといいよということを何度もおっしゃってくださって、そういうところでどうしようかなというふうに考えたときに、奨学金に応募する機会がありまして、それがうまくいただくことができてですね、それでその時点では、より良い教師に、とにかく良い実践家になりたいと思って、英語教授法の大学院に行ったというのがイリノイ大学の修士なんですね。もちろんそれは本当に学びが多かったんですけど、実はそこで出会ってしまった授業が言語テストの授業だったんです。これは比較的新しい分野でして、日本では言語テストの授業ってその頃はほとんどやってる大学はなかったのですが、行った先のイリノイ大学に言語テストの先生がいらっしゃってですね、その授業を受けた時はもう目から鱗といいますか。

島岡：
おー、運命的な出会いだったんですね。

澤木：
もうこれだと思って、それから研究にハマってしまいました。

島岡：
その後はUCLAで博士に進まれて。

澤木：
そうですね、UCLAで今使っている妥当性研究の枠組みをお作りになったライル・バックマン（ライル・F・バックマン）先生という方がいらっしゃり、そのバックマン先生について、言語テストについて学びたいと思いまして。

島岡：
UCLAに。

澤木：
そうですね。

島岡：
その後はETSで研究されていますよね。まさに本当に妥当性評価の道を突き進んでおられる感じですね。
先生がやっぱり研究していて、一番面白いなって思う瞬間ってどんな瞬間。

澤木：
そうですね、本当によくわからない、得体の知れないものがある日突然、ああこうかなって思えることでしょうかね。例えばさっきもちょっとお話ししたんですけれども、私は要約のライティングというのに興味を持ってずっとやっているんですけれども、その要約の力って何だろうっていうのがものすごくいろんな要素があるんですよね。なので例えば英文をちゃんと理解するっていう中にもいろんなサブスキルと言われるものがあるんですけど、そういうものがあり、だけど英文を理解する力と要約を書くストラテジーってやっぱり違うんですよ。それを書いて表現するっていうのはライティングの力ですので、いろんなものが組み合わさってるんですね。それがよくわからないところが魅力といいますか、それをさまざまな文献を読みあさりながら、またデータを取っていろいろ調べながら、ああこうかなって分かってきたときはやっぱり嬉しいです。