情報化推進レター

早稲田大学の学生・教職員の皆様に情報化推進計画のお知らせを配信させていただきます 。

巻末コラム

手書きとコンピュータがつながる未来

浅井洋樹
早稲田大学メディアネットワークセンター 助手
早稲田大学 基幹理工学部 情報理工学科 山名研究室

パソコン、タブレット、スマートフォン、ATM・・・情報技術の発展により、私たちは多くのコンピュータに囲まれながら生活しています。これらのコンピュータを私たちはどのように操作しているでしょうか? マウスや指のタッチによる操作とキーボードによる情報入力が一般的な方法だと思います。今回は人間からコンピュータへの情報入力方法に着目してみます。

ご紹介したようにコンピュータの情報入力にはキーボードを利用するのが一般的です。でも少し考えてみてください。コンピュータを利用しない場面で私たちはどのような方法で情報入力を行っているのでしょうか?学校での授業や会議などで紙に印刷された資料にメモをする際、私たちは紙とペンを使って手書きで情報を記録しています。文字の入力のみであればキーボードが有用ですが、コンピュータ上でも紙のように自由な手書きもできればもっとコンピュータが便利になるのではないでしょうか。それではなぜコンピュータが普及している現在も、手書きとコンピュータは一緒にならないのでしょうか。

コンピュータ上での手書きを実現するにはいくつかの問題が存在します。例えばハードウェアの問題です。現在存在するコンピュータ上で手書きを行えるデバイスは紙の上に書く場合と比べて書きやすさに劣り、多くの改善の余地があります。また、筆跡で表される情報は多種多様であり、コンピュータがこれを人間が意図している情報として認識することは困難というデータを扱う上での問題点もあります。このように手書きとコンピュータの間には依然として壁があります。私はデータ工学やHCI(Human-Computer Interaction)の観点からこれらの壁を乗り越えコンピュータと手書きの世界をつなげる技術、そして壁を乗り越えた時に生まれる新しいアプリケーションについて研究しています。

ここでいくつか私の研究をご紹介します。まず1つ目は情報検索に関する技術です。手書きのドキュメントをコンピュータ上で管理するようになった際、目的のドキュメントをコンピュータ上で効率よく探し出せる仕組みが求められます。ドキュメントを探す際の一覧表示の手法として、元のデータを縮小したサムネイル表示がよく用いられますが、これを手書きのドキュメントでやろうとすると文字が小さくなり何が書いてあるかわからなくなってしまいます(写真左側のサムネイル)。そこで、筆記者の意図する重要な箇所のみを自動で抽出し、重要な箇所のみを拡大表示した要約サムネイルを生成する技術を研究しています(写真右側のサムネイル)。写真のサムネイルを比較してみてください。右側のサムネイルのほうがパッと見ておおよそ何が書いてあるか理解できると思います。

【手書きドキュメントの要約サムネイル生成技術[1]

次に「目に見えない手書き情報」を活用した研究を紹介します。手書きとコンピュータがつながると、時間軸上での筆記行動や、筆記速度、筆圧などの様々な目に見えない手書き情報も得られるようになります。このような情報を活用し、教育分野に応用する研究を行っています。ここでご紹介するのは学習者の「つまずき」を可視化する技術です。教師が個々の生徒に適した指導を行うためには、生徒の苦手とする部分を把握することが重要となります。この苦手を把握するために、教師は問題演習中の生徒の表情や挙動を多大な労力をかけて観察しています。この研究では学習者の筆記情報からつまずいている箇所を自動で検知する技術になります。これを応用することで教師支援や学習者自身の振り返り、学習システム等に利用できる可能性があります。

【筆記情報を利用した学習者の「つまずき」可視化技術[2]

ここまで手書きとコンピュータを利用した研究について紹介しましたが、このようなソフトウェア技術だけでは手書きとコンピュータの世界は実現できません。手書き可能なコンピュータ端末そのものの開発も重要です。このため、研究活動に加えて手書き端末に関する活動も行っています。一例として現在ソニー株式会社が開発中の電子ペーパー端末[3]に関する実証実験をご紹介します。本実証実験では開発中の手書き可能な電子インク端末をお借りし、研究室の活動で使用して評価を行っています。研究室の学生に端末を配付し、ゼミや研究ディスカッション、普段の研究活動で使用してもらった上で学生、開発者らと意見交換を行なっています。

【ソニー電子ペーパー実証実験の様子[3]

以上ご紹介したように、手書きとコンピュータに関する技術を日々研究しています。近い将来、コンピュータ上でも手書きできるのが当たり前となっている未来がやってくるかもしれません。

リンク
[1] 浅井洋樹, 山名早人, オンライン手書きノートからの強調語抽出, 日本データベース学会論文誌, Vol.10, No.1, pp.67-72, (2011.6). http://dbsj.org/journal/dbsj_journal/dbsj_journal_vol10_no1/
[2] Hiroki Asai, Hayato Yamana, Detecting Student Frustration based on Handwriting Behavior, In Proc. of the adjunct publication of the 26th annual ACM symposium on User interface software and technology (UIST 2013 Adjunct), pp.77-78, (2013.10). http://dl.acm.org/citation.cfm?id=2508468.2514718&coll=DL&dl=GUIDE&CFID=377362336&CFTOKEN=30475025
[3] Sony Japan | ニュースリリース | 「紙のデジタル化」により学習効果や生産性の向上を支援する「デジタルペーパーソリューション」の実現を目指し、13.3型の「デジタルペーパー」端末を開発 http://www.sony.co.jp/SonyInfo/News/Press/201305/13-058/
Copyright(C)Media Network Center, Waseda University. All rights reserved.