ビデオアノテーションのためのグループに基づいた画像検索手法

村林昇さん(2006入学:博士)の研究テーマ

概要

概要

実験結果

実験結果

パーソナルビデオカメラレコーダー(Video Camera Recoder:VCR)が広く普及し，一般のユーザーが 旅行や観光などで個人用ムービーを撮影して簡単に楽しむことが多くなっている．ビデオカメラを撮影 した日時情報は，一般的にデータとして記録再生することができるが，撮影した観光地の風景画像が何で あるかという情報は，そのような画像の認識技術が難しいために，現状では記録再生できるものがない．

手軽に撮影できる一方で，何を撮影したかというビデオのメタ情報はユーザーが観光に行ったという記憶に 基づいて後で手作業で作成するか，または撮影情報が何もないビデオコンテンツが沢山たまってしまう 可能性がある．そのため，このようなビデオコンテンツの整理が容易に行え ないということや，所望の撮影した画像シーンを簡単に検索することが難しいといった課題がある．

このような課題を解決する一つの手段としてビデオ画像にアノテーションを付与することが考えられる． ビデオ画像にアノテーションを付与することにより，旅行先における思い出の画像を容易に検索できることや， アノテーションの付与された画像に基づいてビデオコンテンツを整理することが容易になる． さらに,アノテーションに基づいて撮影したビデオの代表画像やタイトルを決めることなどができるようになり， 個人的な旅行の画像アルバムを効率的に作成することも考えられる．このように, ビデオ画像のアノテーションによって， コンテンツに新たな付加価値を創造することができるようになり，様々なアプリケーションを考えることができる．

我々は，ビデオ画像にアノテーション情報を付与する手法として，あらかじめ アノテーションと対応した画像が蓄積された画像データベースを用いる方法を 考えた．これは，ビデオ画像と最も類似した画像を画像データベース内から検 索し，検索された画像と対応するアノテーション情報をビデオ画像に付与する 方法である．提案した手法の特徴は，以下の点である．

  1. ウェーブレット変換に基づいた画像特徴を用いてEarth Mover's Distance (EMD)により画像の類似度を評価する．
  2. ビデオ画像グループと参照WWW画像グループ中で，最類似の画像グループを選択し，さらに選択したその画像グループ内において 検索対象の類似画像を検出する．
WWWから収集した参照画像とパーソナルビデオカメラレコーダーを使用して 撮影した画像をデータセットとして用いた実験で，次のことを明らかにした．
  1. パーソナルビデオカメラで撮影した画質の良好でない画像は，主に色に基づいた画像特徴に影響している． そのため，色に基づいた画像特徴および従来の検索手法に基づいた類似画像検索では十分な検索性能が達成できない．
  2. ウェーブレット変換に基づいた画像特徴を適用したEMDによる 画像検索は，そのような画質の良好でない場合に対応できる．
  3. 関連した画像に基づいたグループ化処理とその画像グループ間による類似性を利用した選択処理は， 検索性能を改善することができる．
  4. 我々の提案手法は，一般的なビデオカメラで撮影した画像とWWW画像との類似画像検索における 検索性能を，従来手法の35%から85%に改善することができた．
  5. 撮影したビデオの画像グループとしての検索率は100%であり，この情報に基づいてどこでビデオ撮影したか という情報も知ることができる．
参考文献
  1. N. Murabayashi, S. Kurahashi, K. Yoshida, "Group-Based Image Retrieval Method for Video Annotation", Proc. of SAINT2008 (2008/08)
  2. K. Yoshida, N. Murabayashi, "Tiny LSH for Content-based Copied Video Detection", Proc. of SAINT2008 (2008/08)