画像と通信の両面で研究・開発を進める
新型コロナウイルスの感染拡大防止のため、在宅勤務やテレワーク、オンライン授業などが当たり前となった。いわゆる“おうち時間”が増える中で利用が拡大したのが、Zoomのようなテレビ会議システムや、Netflixをはじめとするオンデマンドの映像配信サービスだ。
基幹理工学部 情報通信学科の甲藤二郎教授は、こうしたサービスで利用されている画像通信技術の研究・開発を進めている。東京大学大学院工学系研究科を修了後、日本電気株式会社（NEC）に入社した甲藤教授は、アナログ放送のデジタル化やテレビ会議システムの開発などに関わる一方、ITUやMPEGといった国際標準化活動にも参加。また、第3世代携帯電話、FOMAのテレビ電話の標準化にも関与した。
NECでは画像圧縮をメインに仕事をしていたが、大学に移ってからは通信面の研究も強化。画像信号処理からネットワーク制御技術まで、画像と通信の両面から一貫した研究・開発を続けているのが甲藤研究室の強みだ。
2018年から2020年まで取り組んでいたのが、電動アシスト自転車にカメラやLiDARなど各種のセンサーを搭載して“スマート自転車”化し、周囲の画像を自動で記録していくシステムだ。取得した画像をAIで処理することで、道路の損傷個所や段差などを自動で検知できる。人混みが発生している場所も検知できるため、新型コロナウイルス対策にも有効な技術だ。
2021年からは、ネットワークの低遅延化をテーマのひとつに据える。デジタル映像にはどうしても遅延が発生してしまうため、遅延という面ではアナログ映像の方が有利だ。一方で、今後は5Gなどネットワーク面の進展や画像圧縮時の低遅延化も見込まれるため、デジタル映像システムの低遅延化を図る取り組みを進めている。
その他、過去には、駅と列車の2か所にサーバーを置き、コンテンツを2段階に分けてキャッシュすることで、常に最新のデータを列車内で見ることができるコンテンツ配信システムや、音波を使って画像を伝送する海中通信技術などにも取り組んできた。
「AI」を応用して機能を改善
現在、力を入れているのは「AI」を使った画像圧縮だ。日本ではまだあまり注目されていないが、世界的にはコミュニティーがどんどん広がっている、いま注目の分野である。
「もともとAIを画像に応用した例として、物体認識がメジャーになりましたが、その枠組みは何にでも応用が利くんですよ。データ圧縮や雑音除去をはじめ、画像処理技術に幅広く有効です。」と甲藤教授。
AIの威力は絶大で、例えば画質を改善する実験にAIを適用すると、それまでの数値を軽く超えてくるという。「今では国際学会でも、ほとんどを深層学習を使った例が占めています。本当にブレイクスルーですね。」（甲藤教授）。
甲藤研究室では、画像圧縮に加えて、通信ネットワークにもAIを応用し、信頼性の向上や機能の改善を目指す取り組みを進めている。
ZoomやYoutubeを利用している途中で映像が止まってしまう、いわゆる“フリーズ”は、多くの方が経験したことがあるだろう。通信ネットワークにAIを導入することで、そうした状況を回避することが可能になるという。具体的には、スループットや基地局の切り替え、受信電力といった通信中のデータを時系列で取得して将来を予測、通信環境が悪くなりそうな時はレートを下げる、逆に良くなりそうならプリフェッチするなどして、フリージングや映像クオリティーの低下を回避するのだ。
インターネットのトラフィックの約8割を動画が占めているという現在、ZoomやNetflixといったサービスを通して、画像圧縮技術は世の中に大きく貢献してきた。「これは画像圧縮、動画システムの関係者共通の自慢ですね。それぞれは小さい貢献かもしれませんが、30年続けてきた結果として世の中で当たり前のものになったというのは、満足感がありますね。」（甲藤教授）。
「時代遅れ」にならないように、さらなる貢献を
だが、甲藤教授は「満足しちゃうと時代遅れになる世界。」とも続ける。情報系の技術はサイクルが速く、5年前に考えていたことが時代遅れになるどころか、「2、3年後には実現して、次にいっている。」（甲藤教授）というペースで物事が進んでいくという。だから情報収集は欠かせない。
「半導体はいつもウォッチしています。量子コンピューティングにしても、使える技術があったらどんどん適用して、というスタンスです。」（甲藤教授）
これからのキーワードとして、甲藤教授は「IoT」「AR/VR」「360度映像」「ボリュメトリックビデオ」などを挙げてくれた。
「最近は画像だけじゃなく、IoT、センシングの方にも手を広げています。根っこは画像通信ですが、それに貢献する技術だったらどんどん取り入れていきたいですね。」（甲藤教授）
最終的には「空間の共有」を目指したいと語る甲藤教授。ストリートビューなどのサービスで半ばできていると感じることもあるが、もっと臨場感を持たせるような展開を考えている。これまで培ってきた画像通信技術にさらに磨きをかけ、新しい技術も取り込んで、画像通信の分野でさらなる貢献を目指している。
プロフィール
甲藤二郎 教授（基幹理工学部 情報通信学科）
かっとう・じろう／1964年生まれ。87年東京大学工学部電気工学科卒。92年東京大学大学院工学系研究科電子工学専攻博士課程修了。博士（工学）。日本電気株式会社入社。96～97年米国プリンストン大学客員研究員。99年早稲田大学理工学部電子・情報通信学科助教授。2004年から現職。
所属学会
電子情報通信学会、情報処理学会、映像情報メディア学会、IEEE、ACM
Promoting Research and Development in Both Image Processing and Networking
To prevent the spread of COVID-19, working from home, teleworking, online classes, etc. have become the new normal. As “stay home” time has increased, usage of teleconferencing systems like Zoom and on-demand streaming services like Netflix has spread.
Professor Jiro Katto, belonging to the Department of Communications and Computer Engineering at the School of Fundamental Science and Engineering, is researching and developing the visual communication technology used in visual services as above. After completing the Graduate School of Engineering at the University of Tokyo, Prof. Katto joined NEC Corporation (NEC), where he was involved in digitalizing analog broadcasting and developing teleconferencing systems, and he also participated in international standardization activities such as ITU-T and MPEG, that tried to standardize video phones over the third-generation mobile network, known as FOMA in Japan.
His main job at NEC was image compression, and after moving to the university, he strengthened his research on the networking side. The strength of the Katto Laboratory is consistent research and development from both the visual and networking sides, from image signal processing to network control technology.
From 2018 to 2020, he focused on a Smart Bicycle System, where various sensors (such as cameras and LiDARs) were mounted on e-bikes and designed to automatically record images of their surroundings. By processing the acquired images based on AI, the system can automatically detect road damages, elevation curbs, and so on. This is also an effective technology for COVID-19 prevention as it can detect areas crowded with people.
From 2021, network latency reduction will be a new theme for Prof. Katto. In terms of delay, analog video has been preferable because digital video inevitably suffers from delays. On the other hand, as network evolution like 5G/B5G and high frame rate video can be expected, he is working on plans to reduce latency in digital video systems.
In addition to these, in the past he worked on a content delivery system that utilizes trains with time tables. This was done by placing servers in two locations (a station and a train) and then dividing the content into two stages and caching it. He has also been working on underwater communication technology that uses sound waves to transmit images, etc.
Using AI to Improve Functionality
He is currently focusing on image compression using AI. Although it is not yet popular in Japan, this field is getting worldwide attention and its community is growing steadily.
“Object recognition is a major example of how AI contributes to images, but that framework itself is effective in other ways. It’s effective in a wide range of image processing technologies, including data compression and noise reduction,” said Prof. Katto.
He also said that the power of AI is tremendous and gave an example: if AI is applied to an experiment on improving image quality, it can easily surpass prior work. “Today, deep learning is widely used, especially in international academic societies. It really is a breakthrough,” remarked Prof. Katto.
In addition to image compression, the Katto Laboratory is also working to improve communication networks’ reliability and functions by using AI.
Many people have likely experienced “freeze” of video streaming: where videos stop in Zoom or YouTube. Introducing AI into the communication network will help avoid this situation, he said. More specifically, data (such as throughput, base station switching, and received power) can be acquired chronologically during communication for future predictions. When the communication environment is likely to be poor, the rate is lowered. When it is effective, prefetching, etc. can be used to avoid freezing and lowered video quality.
As video accounts for about 80 percent of internet traffic, image compression technology has made a significant contribution to the world through services like Zoom and Netflix. “This is a shared pride among people involved in image compression and video communication systems. Each contribution may be small, but there is a sense of satisfaction in what we have worked for 30 years and the fact that it has become the new normal in the world,” said Prof. Katto.
Contribute More to Avoid Becoming Outdated
However, “Technology becomes easily outdated,” he continued. The information technology cycle is very fast, and many ideas five years ago are becoming outdated, “we realize what happened in the following two to three years, and everyone is moving on to the next thing,” Prof. Katto said of the pace things are moving at. Therefore, collecting new information is essential.
“I’m always watching semiconductors. Even in quantum computing, the stance is that if there is a useable technology, it can be used to application development,” he said.
Prof. Katto cited “IoT,” “AR/VR,” “360-degree video,” “volumetric video,” and others as current buzzwords.
“We have recently expanded our research beyond images to also include the IoT and sensing fields. Our roots are in visual communication, but I would like to incorporate more technologies that can contribute to that,” he shared.
Finally, he said that one of his goals is to “share space.” While some services like Street View may feel like they are only halfway complete, he wants to develop them to be more immersive. Another of his goals is to further refine the visual communication technology fostered thus far, incorporate new technologies, and contribute more to the image communication field.
Profile
Professor Jiro Katto
Department of Communications and Computer Engineering, School of Fundamental Science and Engineering
Born in 1964, Dr. Katto graduated from the Department of Electrical Engineering in the Faculty of Engineering at the University of Tokyo in 1987, and he obtained his Ph.D. in engineering from the Department of Electronics in the Graduate School of Engineering at the University of Tokyo in 1992. He then joined NEC Corporation. He was a visiting research fellow at Princeton University in the USA from 1996 to 1997. In 1999, he became Assistant Professor at the Department of Electronics, Information and Communication in the School of Science and Engineering. He has been in his current position since 2004.
Academic affiliations:
Institute of Electronics, Information and Communication Engineers; Information Processing Society of Japan; The Institute of Image Information and Television Engineers; IEEE; ACM
