- 研究番号：24C11
- 研究分野：technology
- 研究種別：奨励研究
- 研究期間：2024年04月〜2025年03月
代表研究者
馮 起 理工総研が募集する次席研究員
FENG Qi Junior Researcher
理工学術院総合研究所 森島 繫生 研究室
Waseda Research Institute for Science and Engineering
URL：https://w-rdb.waseda.jp/html/100002960_ja.html
研究概要
複合現実感（XR）は，コンピュータで生成されたオブジェクトを利用して現実世界を拡張する新たな技術であり，学術的・産業的な関心を集めている．デジタル世界と現実世界を自然に統合し，ユーザーに没入感を提供するためには，仮想空間と物理環境の両方を正確に理解することが必要である．
マルチタスクシーン理解は，コンピュータビジョン（CV）の強力なツールであり，シーンに関する重要な情報を効率的かつ正確に提供する．しかしながら，これまで複合現実感の研究ではほとんど活用されていなかった．この研究では，CVとXRの両分野のギャップを埋めるために，関連する複数のタスクを同時に学習させる単一のモデルを活用し，共通の有用な特徴を獲得することで，既存のXR技術と体験を向上させることを目指している．
提案手法の実装により，シームレスな空間的関係理解とオクルージョン表現を実現し，同時に同期性と即時性を向上させる．この研究の成果は，ナビゲーションやトレーニングなど，さまざまな領域での実用化が期待されている．
本研究では，XR体験における360度動画の重要性に焦点を当て，シーン理解とオクルージョン表現の向上を目指し，洗練されたデジタルツインの構築と表現を提案・開発することが目的である．具体的には，1人称視点の360度カメラ映像は，周囲を完全に捉える能力を持ち，シーン内のさまざまな要素間の関係を理解するために重要なコンテキスト情報を提供している．従来のマルチタスク学習は，360度画像に対するデプス推定に焦点を当ててきた．360度映像からの時間的連続性を考慮したシーン理解手法は存在しないため，本研究ではデプス推定と同時に新たに360度カメラのポーズ推定というタスクを導入する．この新たなアプローチは，360度カメラで撮影された複雑な動的映像に対するロバストな理解と予測を提供することが期待され，合成入力と実世界入力の両方に対して優れた性能を発揮することが期待される．
具体的な実装は，提案されたネットワーク構造に基づいて行われ，360度動画データセットを構築・使用してトレーニングを行う．提案手法の有効性を確認するため，構築したネットワークモデルをテストデータに適用し，デプス推定とカメラのポーズ推定の性能を評価する．実施された評価結果により，提案手法が360度動画においてデプス推定とカメラのポーズ推定の双方で，先行研究を凌駕する性能を発揮することが期待される．得られた結果を詳細に解釈し，提案手法の有益性や限界について深く考察する．研究の成果は，物理環境と仮想環境のシームレスな融合とデジタルツインの構築における新たな洞察を提供することが期待されている．
