理工・甲藤研究室とKDDI研究所、楽曲スライドショー自動生成システムを開発 歌詞に適した良質な写真をネット上から収集して自動生成

理工・甲藤研究室とKDDI研究所、楽曲スライドショー自動生成システムを開発
歌詞に適した良質な写真をネット上から収集して自動生成

2011/02/08

株式会社KDDI研究所(本社:埼玉県ふじみ野市、代表取締役所長:秋葉重幸)と早稲田大学(理工学術院甲藤二郎教授)は、歌詞の雰囲気に適した写真をネット上から収集し、効果的に楽曲と同期させて再生することが可能な楽曲スライドショー自動生成システムの開発に成功しました。このシステムにより、ユーザは歌詞付きの楽曲をシステムに入力するだけで手軽に良質な楽曲スライドショーを自動で作成することができます。

楽曲スライドショー自動生成システムの処理の流れ

背景

音楽や写真のデジタル化が進み、コンテンツを編集・連携させることが可能になり、視覚効果を付与してコンテンツを連携させるための編集ソフトなどが市販されています。一般的に、音楽と写真を連携させた楽曲スライドショーでは楽曲の雰囲気に適した写真を効果的に同期させて再生することで、空間を彩る魅力的なスライドショーを作成することができます。しかし、個人がこのようなスライドショーを作成するためには、市販のソフトを利用して適切な写真の収集や選定に加え、切換えタイミングの調整などの作業に多くの労力を要していました。

技術的特長

今回開発したシステムでは、楽曲の歌詞を解析し、楽曲の雰囲気に適した良質な写真をネット上から自動で検索し、楽曲と同期させて再生する楽曲スライドショーを自動で作成することを可能としました。具体的には、1)歌詞全体から季節や時間帯などの印象情報の推定、2)楽曲の進行に同期した良質な写真をFlickr12などのタグ付き写真共有サイトから収集するための検索キーワード抽出、3)収集したタグ付き写真からの印象に合致した写真の自動選定、4)歌詞の進行に同期した写真切替タイミング制御などの独自技術により、良質なスライドショーの自動生成を実現しています。

今回開発したシステムにより、これまで課題であった制作作業に要する時間を大幅に短縮でき、個人が手軽に楽曲スライドショーを作成することが可能になります。本システムの性能を検証するために、一般の20-50代の男女一般42名を対象として、歌詞に含まれる単語を用いて写真を検索する従来方式との比較実験を行ったところ、約8割の被験者が、提案システムによって作成された楽曲スライドショーの方が歌詞の情景に適しているなど、完成度が高いと評価しました。

利用例と今後の展望

今回開発したシステムにより、個人が購入した歌詞付きの楽曲を良質なスライドショーとともに楽しむことが可能になります。例えば、クリスマスや誕生日パーティなどで、楽曲スライドショーを利用して会場の雰囲気を盛り上げることができます。さらに、スライドショーに自身の写真を織り交ぜて音楽とともに楽しむなど、新たなマルチメディアコンテンツを手軽に作成することができます。今後はシステム動作の高速化を図ったうえで、デジタルフォトフレームやスマートフォンなどの携帯端末上での楽曲スライドショーアプリとして実用化に向けた検討を進める予定です。

※1 ネット上で写真を公開・共有するWEBサービス。ユーザは公開されている写真に対してタグを付与することが可能です。
※2 Flickrはヤフー!インコーポレイテッドの登録商標です。

論文情報

ISMIR 2010 (International Society for Music Information Retrieval Conference)

論文URL: http://ismir2010.ismir.net/proceedings/ismir2010-13.pdf

論文タイトル: Automated Music Slideshow Generation Using Web Images based on Lyrics

著者: Shintaro Funasawa, Hiromi Ishizaki, Keiichiro Hoashi, Yasuhiro Takishima, Jiro Katto

ご参考

甲藤研究室のサイト

KDDI研究所のプレスリリース

 

 

以 上

Page Top
WASEDA University

早稲田大学オフィシャルサイト(https://www.waseda.jp/top/)は、以下のWebブラウザでご覧いただくことを推奨いたします。

推奨環境以外でのご利用や、推奨環境であっても設定によっては、ご利用できない場合や正しく表示されない場合がございます。より快適にご利用いただくため、お使いのブラウザを最新版に更新してご覧ください。

このままご覧いただく方は、「このまま進む」ボタンをクリックし、次ページに進んでください。

このまま進む

対応ブラウザについて

閉じる