大隈重信と来訪者(大隈邸温室内)、1910年代
大学史資料センター写真データベース所蔵写真B03-01を本手法によって彩色加工したもの
早稲田大学理工学術院の石川博教授、飯塚里志研究院助教、シモセラ・エドガー研究院助教らの研究グループは、ディープラーニングと呼ばれる人工知能技術を応用し、白黒写真を自然に彩色する「ディープネットワークを用いた大域特徴と局所特徴の学習による色付け」の手法を確立しました。
米国前大統領候補ブライアン一行の大隈訪問(大隈邸温室内)、1905年10月18日
大学史資料センター写真データベース所蔵写真B58-05を本手法によって彩色加工したもの
大隈重信（大隈邸）、大正期
大学史資料センター写真データベース所蔵写真A01-18を本手法によって彩色加工したもの
研究の背景
従来の白黒写真への色付け方法ではユーザーによる介入を必須としていましたが、本研究では自動で白黒画像に色付けを行うことができる手法を確立しました。本手法では、大量の白黒・カラー画像の組から色付けの手掛かりとなる特徴をディープラーニング技術により学習し、その特徴を使って与えられた白黒画像をカラー画像に変換します。特に本研究で開発した新しい手法として、画像全体から抽出される大域特徴と、より小さな領域から算出される局所特徴とを結びつけて利用します。
大域特徴からは、屋外か屋内か、また昼か夜か等の写真全体についての情報を得ることができ、また局所特徴からは、例えば砂か葉か水か等の物体の持つ質感により、その領域をどのように色付けするのが最も適当かという推測をすることができます。これらの組み合わせが、夕暮れの空や人の肌等の、より状況にあった自然な色付けを、人による介入を必要とせずに可能にしました。
図書館（現在の二号館）全景、1933年
大学史資料センター写真データベース所蔵写真B99-36を本手法によって彩色加工したもの
明治末期、大隈邸内温室の草花。右奥に人物の頭が見える
大学史資料センター写真データベース所蔵写真A10-11を本手法によって彩色加工したもの
モデル構造
図１が本手法におけるディープネットワークモデルの構造図です。提案モデルは① 低レベル特徴ネットワーク（紫）、② 中レベル特徴ネットワーク（青）、③ 大域特徴ネットワーク（橙）、④ 色付けネットワーク（緑）の４つのネットワークから構成されます。白黒画像が入力されるとモデルは入力画像の1/2サイズの彩度画像を出力します。この彩度画像を2倍にスケーリングし、入力画像と統合することでカラー画像が生成されます。
図１ディープネットワークを用いた大域特徴と局所特徴の学習による色付けのモデル構造
研究結果に関する評価と社会的影響
今回の研究により、１００年前の白黒写真をはじめ、様々な画像において自然な色付けを実現できるようになりました。なお、彩色の結果はユーザーテストにより評価され、約９０％の色付け結果が自然であるという回答を得ました。
研究結果詳細URL: http://hi.cs.waseda.ac.jp/~iizuka/projects/colorization/ja/
また、ソースコードはGitHubにて公開されています。
本研究は、科学技術振興機構（JST）による戦略的創造研究推進事業CRESTの研究領域「現代の数理科学と連携する数理モデリング手法の構築」（研究総括：坪井俊）に属するプロジェクト「認識の数理モデルと高階・多層確率場による高次元実データ解析」（研究代表者：石川博）の成果です。
本研究の成果は、7月に米ロサンゼルスで開催されるコンピューターグラフィックスの国際会議SIGGRAPH 2016で発表されると共に、次の論文として公表されます:
Satoshi Iizuka, Edgar Simo-Serra, and Hiroshi Ishikawa. “Let there be Color!: Joint End-to-end Learning of Global and Local Image Priors for Automatic Image Colorization with Simultaneous Classification,” ACM Transaction on Graphics (Proc. of SIGGRAPH 2016), to appear.
恩賜記念館、1918年3月
大学史資料センター写真データベース所蔵写真B35-17を本手法によって彩色加工したもの
庭園より望む大隈邸書院全景、1917年12月
大学史資料センター写真データベース所蔵写真B63-01を本手法によって彩色加工したもの
研究内容に関するお問い合わせ先
早稲田大学 理工学術院教授 石川 博 Mail: [email protected] TEL: 03-5286-2905
