デジタル社会の根底にある情報の本質を明かしていく

70年以上前に原理が確立された情報理論という分野

情報理論という分野は、アメリカのクロード・シャノンが1948年に発表した論文「通信の数学的理論」を礎としています。シャノンは、主な情報処理が「データ圧縮（情報源符号化）」「誤り訂正・検出（通信路符号化）」「情報セキュリティ（暗号）」の組み合わせで成り立つことを示しました。シャノンが指す情報は、コンピュータで扱う情報だけにとどまりません。人間の言語や思考、あるいは遺伝子でさえ、情報に含まれます。この広範な領域を、わずか三つの理論で説明した功績は、画期的といえるでしょう。

こうして確立された情報理論は現在、インターネットやAIのみならず、金融やカードセキュリティ、マーケティング、天気予測など、さまざまなシーンで利用されています。例えば、明日の天気は「晴」という情報を送る際、コンピュータは情報を「0」と「1」に置き換え、例えば「01100」といった形式で伝えます。この送信の長さを極力短くするのが「データ圧縮」で、電力やメモリを節約できるメリットがあります。しかし圧縮には限界があり、それを超えてしまうと「晴」という情報に戻りません。そこでシャノンは、圧縮の限界長を「エントロピー」を用いて数理的に示し、情報の量としました。

数理モデルとして抽象化することで実世界の問題は解決できる

この「シャノンの第一定理」が示唆するのは、情報の本質はエントロピーで表せるということです。膨大なビッグデータも、長大な文章も、本質的な情報の量はエントロピーで測れます。さらに、「晴」の確率といった、情報が発生するメカニズムが分かっていて、次に発生する（送られてくる）情報が高確率で受け手も予測できる場合、当たり前で送る必要がほとんどない情報なので、エントロピーは低く、短く圧縮できることになります。このように発生メカニズムが分かっている情報についてはエントロピーの長さまで圧縮できる方法もシャノンにより示されており、予測と圧縮が数学的に同等であることも示せます。

では逆に、情報が発生するメカニズムを把握できない場合、データをエントロピーまで圧縮できるのか。この問いに対し、シャノンはその解を用意しませんでした。私がアプローチしてきたのはこのような領域で、解を数理的に示し、限界まで圧縮する方法を作ることに成功しました。

このように情報理論は、後進の研究者によっても進化を遂げています。成功の背景にあるのは、実世界の課題への、シャノンのアプローチ方法です。情報を高効率・高信頼で送りたいという実世界のニーズに対し、シャノンは課題を数理モデルとして抽象化し、まずは理論で解決した上で、実世界へフィードバックしました。このプロセスにより解が具現化し、昨今のAIの進化にもつながります。“回り道”ともいえるこのプロセスは、科学者の姿勢として重要です。

論理的な意思決定を可能にするデータ科学センターの教育プログラム

シャノン以後、情報理論とともに統計学、人工知能、機械学習なども発達し、1990年代には、これらを統合化するような「データサイエンス」が登場。情報の形式も、ITの進展とともに多様化しました。こうした潮流を受け、早稲田大学は2017年に「データ科学センター」を設置。データ科学を「データからの論理による意思決定の科学」と定義し、教育・研究活動を展開しています。データ収集や論理的推論の手法は、物理学や工学、人文・社会科学に至る広範な分野において、適用できます。教育でも重要になることから、データ科学センターは基盤教育として「データ科学教育プログラム」を提供しています。データ科学全体を「意思決定写像」による統一的な体系により、統計学、機械学習、生成AIなどの区別をせず同時に学ぶことが特徴で、高度な数学の知識を備えていない文系の学生でも、本質を学びながら、基礎を習得することができます。身につけた科学的手法は、専門分野や将来のキャリアにおける問題解決のシーンで、力を発揮するでしょう。