JP3872778B2 - 結合された成分記述子を用いた顔検索方法及びその装置 - Google Patents

Description

本発明は、結合された顔成分記述子を用いた顔検索方法及びその装置に関する。

一般に、顔検索技術は、特定人により入力された顔画像（以下、「クエリ顔画像」という。）を基準として、既にデータベース（以下、「ＤＢ」という。）に格納された顔画像（以下、「学習顔画像」という。）と比較することにより、入力されたクエリ（ＱＵＥＲＹ）顔画像と同一、あるいは最も類似の学習顔画像をＤＢから検索するものである。

予め格納された学習顔画像と最も類似の顔画像を検索する際に、正確な検索結果を得るためには、一人の顔画像に対しては、顔画像の照明、ポーズ、表情変換などを問わず、その顔画像のアイデンティティ（ｉｄｅｎｔｉｔｙ）を最もよく区分可能な特徴でその人の顔画像がデータ化されなければならず、多数人の顔画像が格納された大容量顔画像ＤＢを考慮したとき、簡略な類似度判断方法が求められる。

通常、顔画像はピクセルに区分され、1つのコラムのベクトルで表現されるが、そのベクトルの次元が非常に大で、正確性を提供しつつ少量のデータで画像を表現し、入力された顔画像と最も類似の顔画像を、予め格納された顔画像データベースから検索する際、少ない計算量で検索を行うために多くの研究が行われてきた。

現在、正確性を提供しつつ少量のデータで顔画像を表現して、少ない計算量で検索を行う方法としては、固有顔（Ｅｉｇｅｎｆａｃｅ）を用いた主成分分析（ＰＣＡ；Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔｓ Ａｎａｌｙｓｉｓ）方法や、クラス（人）別分散を最大にしクラス内（一人の様々な画像間）分散を最小とするプロジェクション（変換マトリックス）Ｗを学習によって決定し、決定されたプロジェクションＷを用いて顔画像を所定の記述子で表現する線形判別分析方法（ＬＤＡ；Ｌｉｎｅａｒ Ｄｉｓｃｒｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ）などが使用されている。

また、検索性能の向上のために全体顔画像をそのままデータで表現せず、幾つかの顔成分（例えば、目、鼻、口など）に分割し、分割された各顔成分から独立的に特徴ベクトルを抽出した後、各成分別加重値を考慮して比較することにより顔検索を行う方法が使用されている。分割された各顔成分に対しＬＤＡ方法を適用して顔検索を行う方法は、韓国特許出願第２００２−２３２５５号などに開示されている。
Ｔ.Ｋ. キム（Ｔ.Ｋ. Ｋｉｍ）他著，「Ｃｏｍｐｏｎｅｎｔ−ｂａｓｅｄ ＬＤＡ Ｆａｃｅ Ｄｅｓｃｒｉｐｔｏｒ ｆｏｒ Ｉｍａｇｅ Ｒｅｔｒｉｅｖａｌ」，（英国），ブリティッシュ マシーン ビジョン カンファレンス（ＢＭＶＣ；Ｂｒｉｔｉｓｈ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ）,２００２年９月２〜５日 バウダット Ｇ.（ＢＡＵＤＡＴ Ｇ．）他著,「Ｇｅｎｅｒａｌｉｚｅｄ Ｄｉｓｃｒｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ Ｕｓｉｎｇ Ａ Ｋｅｒｎｅｌ Ａｐｐｒｏａｃｈ」 ニューラル コンピュテイション（Ｎｅｕｒａｌ Ｃｏｍｐｕｔａｔｉｏｎ）,２０００年

ところが、このような方法は、各成分の特徴ベクトルデータを全体的に比較するため、大容量の学習顔を比較すると、比較すべき特徴ベクトルデータが急激に増加するので、データ処理が非効率的で処理時間も遅延するという問題があり、成分間の関係が十分反映できないため、顔検索の正確度が足りなかった。

本発明は、かかる問題点を解決するためのもので、顔成分別に生成されている成分記述子を結合して低次元の顔記述子を生成して比較することにより、顔検索に必要なデータ量及び検索時間を節減し、かつ正確な検索を行うことが可能な、結合された成分記述子を用いた顔検索方法及びその装置を提供することを目的とする。

また、本発明は、顔検索の際、入力顔だけでなく、これと類似の学習顔を比較基準として適用することにより、さらに正確な顔検索率を提供することが可能な、結合された成分記述子を用いた顔検索方法及びその装置を提供することを目的とする。

前記課題を解決するために、本発明の一実施例に係る結合された成分記述子を用いた顔検索装置は、入力された顔画像を成分別に分割する成分分割部と、前記分割された各成分をＬＤＡ変換によってそれぞれの成分記述子に変換する第１ＬＤＡ変換部と、前記それぞれの成分記述子を結合するベクトル合成部と、前記ベクトル合成部で結合された結果をＧＤＡ変換によって顔記述子に変換する第２ＧＤＡ変換部と、入力されたクエリ顔画像の顔記述子と画像ＤＢ内の顔画像の顔記述子とを比較し、前記入力されたクエリ顔画像と前記画像ＤＢ内の顔画像との類似度を判断する類似判断部とを含む（請求項１）。

本発明の他の実施例に係る結合された成分記述子を用いた顔検索装置は、入力された顔画像を成分別に分割する成分分割部と、前記分割された各成分をＬＤＡ変換によってそれぞれの成分記述子に変換する第１ＬＤＡ変換部と、前記変換されたそれぞれの成分記述子を結合するベクトル合成部と、前記それぞれの成分記述子を結合するベクトル合成部と、前記ベクトル合成部で結合された結果をＬＤＡ変換によって顔記述子に変換する第２ＬＤＡ変換部と、入力されたクエリ顔画像の顔記述子と画像ＤＢ内の顔画像の顔記述子とを比較し、前記入力されたクエリ顔画像と前記画像ＤＢ内の顔画像との類似度を判断する類似判断部とを含む（請求項２）。

前記第１ＬＤＡ変換部は、前記分割された各成分をＬＤＡ変換によってそれぞれの成分記述子に変換する成分別ＬＤＡ変換部と、前記変換されたそれぞれの成分記述子を一次元ベクトルにそれぞれ正規化するベクトル正規化部とを含む（請求項３）。

前記成分別ＬＤＡ変換部及び前記ベクトル正規化部は、分割された成分別に多数構成されることが望ましい（請求項４）。

本発明はまた、前記画像ＤＢ内の各顔画像を学習して計算された変換マトリックス又は変換係数が格納された変換マトリックス／変換係数ＤＢをさらに含み、前記第１ＬＤＡ変換部又は前記第２ＬＤＡ／ＧＤＡ変換部は、前記格納された変換マトリックス又は変換係数を用いてＬＤＡ又はＧＤＡ変換を行うことができる（請求項５）。

前記画像ＤＢは各顔画像に対する顔記述子を格納し、前記入力されたクエリ顔画像と画像ＤＢ内の顔画像との比較は、前記入力されたクエリ顔画像の顔記述子と、前記画像ＤＢに格納された各顔画像に対する顔記述子との比較であることが望ましい（請求項６）。

本発明において、前記分割された各成分は互いに一部オーバーラップする（請求項７）。

前記分割された各成分は目、鼻又は口を基準として分割されることが望ましい（請求項８）。

前記類似判断部は、前記入力されたクエリ顔画像と類似の前記画像ＤＢ内の第１類似顔画像、及び前記第１顔画像と類似の第２類似顔画像を抽出し、前記第２類似顔画像と前記入力されたクエリ顔画像との類似度を用いて、前記入力されたクエリ顔画像と前記画像ＤＢ内の顔画像との類似度を判断することができる（請求項９）。

上記目的を達成するために、本発明の一実施例に係る結合された成分記述子を用いた顔検索方法は、入力された顔画像を成分別に分割する段階と、前記分割された各成分をＬＤＡ変換によってそれぞれの成分記述子に変換する段階と、前記それぞれの成分記述子を結合する段階と、前記結合された段階をＧＤＡ変換によって顔記述子に変換する段階と、入力されたクエリ顔画像の顔記述子と画像ＤＢ内の顔画像の顔記述子とを比較し、前記入力されたクエリ顔画像と前記画像ＤＢ内の顔画像との類似度を判断する段階とを含む（請求項１１）。

本発明の他の実施例に係る結合された成分記述子を用いた顔検索方法は、入力された顔画像を成分別に分割する段階と、前記分割された各成分をＬＤＡ変換によってそれぞれの成分記述子に変換する段階と、前記それぞれの成分記述子を結合する段階と、前記結合された段階をＬＤＡ変換によって顔記述子に変換する段階と、入力されたクエリ顔画像の顔記述子と画像ＤＢ内の顔画像の顔記述子とを比較し、前記入力されたクエリ顔画像と前記画像ＤＢ内の顔画像との類似度を判断する段階とを含む（請求項１２）。

前記ＬＤＡ変換によってそれぞれの成分記述子に変換する段階は、前記分割された各成分をＬＤＡ変換によってそれぞれの成分記述子に変換する段階と、前記変換されたそれぞれの成分記述子を一次元ベクトルにそれぞれ正規化する段階とを含む（請求項１３）。

前記ＬＤＡ変換又は前記ＧＤＡ変換は、画像ＤＢ内の各顔画像を学習して計算された変換マトリックス又は変換係数を用いて行われる（請求項１４）。

また、本発明に係る結合された成分記述子を用いた顔検索方法は、前記判断された類似度に基づいて検索された前記画像ＤＢ内の顔画像を出力する段階をさらに含むことができる（請求項１５）。

前記入力されたクエリ顔画像と画像ＤＢ内の顔画像との比較は、前記入力されたクエリ顔画像の顔記述子と前記画像ＤＢ内の各顔画像に対する顔記述子との比較であることが望ましい（請求項１６）。

前記分割された各成分は、互いに一部オーバーラップする（請求項１７）。

前記分割された各成分は目、鼻又は口を基準として分割されることが望ましい（請求項１８）。

前記類似度判断段階は、前記入力されたクエリ顔画像と類似の前記画像ＤＢ内の第１類似顔画像、及び前記第１顔画像と類似の第２類似顔画像を抽出する段階と、前記第２類似顔画像と前記入力されたクエリ顔画像との類似度を用いて、前記入力されたクエリ顔画像と前記画像ＤＢ内の顔画像との類似度を判断する段階とを含む（請求項１９）。

前記第１類似顔画像と第２類似顔画像を抽出する段階は、前記入力されたクエリ顔画像と前記画像ＤＢ内の各画像との類似度を判断する１次類似度判断段階と、前記１次類似度判断結果に基づいて高い類似度の順に第１類似顔画像を抽出する段階と、前記第１類似顔画像と前記画像ＤＢ内の各画像との類似度を判断する２次類似度判断段階と、前記２次類似度判断結果に基づいて高い類似度の順に第１類似顔画像別に第２類似顔画像を抽出する段階とを含む（請求項２０）。

本発明によれば、成分別に分割された成分記述子を結合して１つの顔記述子とすることにより、データ処理分量を著しく節減し、かつ正確な検索を行うことができるうえ、顔検索時間も短縮させることができる。

さらに、顔検索の際、入力顔だけでなく、これと類似の学習顔を比較基準として適用するジョイント検索方法を使用することにより、さらに向上した検索正確度を提供することが可能となる。

以下、本発明を添付図面に基づいて詳細に説明する。
まず、本発明に適用されたＬＤＡ（Ｌｉｎｅａｒ Ｄｉｓｃｒｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ；線形判別分析）方法について説明する。

ＬＤＡ方法のような学習方法を適用すると、エンコードの際に照明変化及びポーズ変化を除去することができる。特に、ＬＤＡ方法は、身元学習例として２つ以上の顔画像が登録された顔認識シナリオを効率よく処理することができる。

一方、ＬＤＡ方法は、同一性（ｉｄｅｎｔｉｔｙ）の異なるクラス（他人）間の分離がよく表現されるようにする方法であって、同一性の変化や照明又は表情の変化などの他の要因による画像の変化を区分することが可能な方法である。また、ＬＤＡは、分類に有用であるようにデータを表現するということからみてクラス特定方法（Ｃｌａｓｓ Ｓｐｅｃｉｆｉｃ Ｍｅｔｈｏｄ）である。従って、ある人が登録時とは異なる照明で認識を試みた場合、この変化の原因が照明の変化なので依然として同一人であると判別を下すことができる。これは、変換後、互いに異なる同一性をもつクラスに属する顔画像間の分散は最大とし、互いに異なる同一性をもつクラスに属する顔画像間の分散は最小とする変換を算出することにより達成される。

以下、ＬＤＡ方法について簡単に説明する。
Ｃ個のクラス｛Ｘ₁、Ｘ₂、…、Ｘ_C｝中のいずれかに属するＮ個のイメージ集合｛ｘ₁、ｘ₂、…、ｘ_N｝が与えられると、ＬＤＡは、クラス間分散（ｂｅｔｗｅｅｎ−ｃｌａｓｓ ｓｃａｔｔｅｒ）とクラス内分散（ｗｉｔｈｉｎ−ｃｌａｓｓ ｓｃａｔｔｅｒ）の比が最大となるように線形変換マトリックスＷを選択する。

クラス間分散マトリックスＳ_B及びクラス内分散マトリックスＳ_wは次の数式１で定義される。

ここで、μは全体イメージの平均イメージ、μ_iはクラスＸ_iの平均イメージ、Ｎ_iはクラスＸ_iの顔画像数をそれぞれ示す。もしクラス内分散マトリックスＳ_wが唯一（ｓｉｎｇｕｌａｒ）でなければ、ＬＤＡはクラス間分散マトリックスのデターミナント（Ｄｅｔｅｒｍｉｎａｎｔ）に対するクラス内分散マトリックスのデターミナントの比を最大にする正規直交行列（Ｏｒｔｈｏｎｏｒｍａｌ Ｍａｔｒｉｘ）Ｗ_optを求める。すなわち、ＬＤＡプロジェクションマトリックスは、次の数式２で表現される。

解集合｛ｗ_i｜ｉ＝１、２、…、ｍ｝は、ｍ個の最大固有値｛μ_i｜ｉ＝１、２、…、ｍ｝に対応して生成された固有ベクトルＳ_B及びＳ_wの解である。

次に、本発明のＬＤＡ記述子について説明する。
本発明は、イメージ変化に対する良好な線形性及び強靭性を有する成分基盤接近方法とＬＤＡ方法とを組み合わせたものである。ＬＤＡ方法は、分離された顔の成分に個別的に適用され、このような適用により正確性が改善される。

まず、学習顔画像集合に対し、ＬＤＡ変換マトリックスが抽出される。Ｎ個の学習画像｛ｘ₁、ｘ₂、…、ｘ_n｝が与えられると、全画像は、成分分割定義によってＬ個の顔成分に分離される。各成分分割領域は、全て合わせられてｋ番目の成分に対し｛ｚ₁ ^k、ｚ₂ ^k、…、ｚ_N ^k｝のようにベクトル形式で表現される。すると、各成分同士の集合に対し、ＬＤＡ変換マトリックスが学習される。ｋ番目の顔成分に対し、対応するＬＤＡマトリックスＷ^kが計算される。最後に、ＬＤＡ変換マトリックスの集合｛Ｗ¹、Ｗ²、…、Ｗ^L｝は以後の学習段階又は検索段階のために格納される。

学習顔画像集合に対し、顔画像Ｘから顔成分に対応するＬベクトルｚ＝｛ｚ¹、ｚ²、…、ｚ^L｝が抽出される。ＬＤＡ特徴ベクトル（すなわち、成分記述子）の集合ｙ＝｛ｙ¹、ｙ²、…、ｙ^L｝は、顔成分に対応するＬＤＡ変換マトリックスによって変換することによりそれぞれ求められる。特徴ベクトルはｙ^k＝（Ｗ^k）^T _Z ^k、ｋ＝１、２、…、Ｌによって計算される。従って、成分基盤ＬＤＡ方法に対し、顔画像ＸはＬＤＡ特徴ベクトル、すなわち成分記述子｛ｙ¹、ｙ²、…、ｙ^L｝によって簡潔に表現される。

つまり、ＬＤＡ方法を適用するためには学習によって成分別ＬＤＡ変換マトリックスＷ^kが計算されなければならない。また、以後入力されるクエリ顔画像は計算されたＬＤＡ変換マトリックスＷ^kを用いてｙ^k＝（Ｗ^k）^T _Z ^kによってＬＤＡ変換される。

次に、本発明に適用されたＧＤＡ（Ｇｅｎｅｒａｌ Ｄｉｓｃｒｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ；一般線形判別分析）方法について説明する。

ＧＤＡ方法は、非線形特徴抽出のために設計された方法である。ＧＤＡ方法の目的は、クラス間の分散と線形の場合で変形されたデータの全体分散間の比率を最大化する非線形分散を探索することにある。分散間の最大比率はＬＤＡ方法と類似の固有値分散によって得られる。

非線形拡張は、オリジナル空間Ｙからのデータを関数（Φ：Ｙ→Ｚ）によって新しい高次元特徴空間Ｚにマッピングすることにより実行される。新しい空間Ｚの高次元性問題はカーネル関数（ｋ：Ｙ×Ｙ→Ｒ）を用いて防止される。カーネル関数の値ｋ（ｙ_i、ｙ_j）は、非線形的にマッピングされたベクトルΦ（ｙ_i）とΦ（ｙ_j）、例えばデータが確実なマッピングなしで高次元空間と効率よく評価できるｋ（ｙ_i、ｙ_j）＝Φ（ｙ_i）^TΦ（ｙ_j）のドット積と同一である。

ＧＤＡ方法の目的は、次の数式３のような比率を最大化するプロジェクションベクトルｗ∈Ｚを探索することにある。

ここで、λは固有ベクトルｗに対応する固有値である。数式３を最大化するベクトルｗ∈Ｚが、一般化された固有値問題の解決策としてよく知られている。

カーネル関数を使用するために、全ての計算はドット積項で行われなければならない。これまで、プロジェクションベクトルｗは、例えば次の数式５のような学習成分の線形組合せで表現される。

ここで、ａ_k,iは一部の実際加重値である。数式５を用いて、数式３は次の数式６のように表現することができる。

ここで、ベクトルａ＝（ａ_k）、ｋ＝１、….、Ｍ及びａ_k＝（ａ_k,i）、ｉ＝１、…、Ｎ_kである。

カーネルマトリックスＫ（Ｎ×Ｎ）は、例えば次の数式７のように非線形的にマッピングされたデータのドット積で構成される。

マトリックスＷ（Ｎ×Ｎ）は次の数式８のようなブロック対角線マトリックスである。

固有値問題を示す数式（６）の解は、プロジェクションベクトルｗ∈Ｚを定義する係数ベクトルａを算出する。テストベクトルｙのプロジェクションは次の数式９のように計算される。

前記したように、学習ベクトルは特徴空間Ｚに集中するものと仮定される。

集中ベクトルΦ（ｙ）は次の数式１０のように計算される。

数式１０は、データがドット積の項でのみ現れるため、集中したカーネルマトリックスＫ’（Ｋの代わりに）を用いて暗示的に行われることができる。

集中したカーネルマトリックスＫ’は次の数式１１のように計算される。

ここで、マトリックスＩ（Ｎ×Ｎ）は、１と同一の全てのエリメントを有する。同様に
、テストベクトルｙは数式９によるプロジェクティングの前に数式１０によって形成されなければならない。

テストベクトルｙに対する数式１０と数式９の適用はプロジェクションのために次の数式１２を用いるのと同等である。

集中した係数β_k,iは次の数式１３と数式１４で計算される。

ここで、列ベクトルＪ（Ｎ×１）は１と同一の全ての項を有し、ｂはバイアス（ｂｉａｓ）である。

つまり、ＧＤＡ方法を適用するためには、使用するカーネル関数が予め指定され、学習によって指定されたカーネル関数による変換係数β及びｂが計算されなければならない。以後入力されるクエリ顔画像は指定されたカーネル関数、計算された変換係数β及びｂを用いて数式１２によって変換される。

本発明は、ＬＤＡ変換（以下、「第１ＬＤＡ変換」という。）によって算出された全ての顔成分別特徴ベクトル、すなわち成分記述子を単一ベクトルｙ_i＝［ｙ_i ¹、ｙ_i ²Λ ｙ_i ^L］に結合し、さらにＬＤＡ又はＧＤＡ変換（以下、「第２ＬＤＡ／ＧＤＡ変換」という。）によって関連特徴ベクトル、すなわち顔記述子f_iを抽出することを提案する。本発明の結合された成分記述子を用いた顔検索方法及び装置は、後述する「１．学習段階」による学習が前提となり、以後検索するクエリ顔画像が入力される場合、「２．検索段階」を行う。

１．学習段階
Ａ．複数の学習顔画像ｘ_iに対して成分分割定義によってＬ個の顔成分に分離して学習し、Ｌ個の顔成分別に第１ＬＤＡ変換マトリックスＷ^k、ｋ＝１、２、…、Ｌを計算する。
Ｂ．複数の学習顔画像ｘ_iを前記計算された第１ＬＤＡ変換マトリックスＷ^k、ｋ＝１、２、…、Ｌを用いてｙ^k＝（Ｗ^k）^T _Z ^kによって第１ＬＤＡ変換し、ＬＤＡ成分記述子ｙ_i ¹、ｙ_i ²、…、ｙ_i ^Lを計算する。
Ｃ．各学習顔画像ｘ_i別にＬＤＡ成分記述子ｙ_i ¹、ｙ_i ²、…、ｙ_i ^Lをベクトル正規化した後、単一ベクトル ｙ_i＝［ｙ_i ¹、ｙ_i ²Λ ｙ_i ^L］に結合する。

Ｄ．結合された単一ベクトルを学習して所定の第２変換（ＬＤＡ又はＧＤＡ）に必要な変換マトリックス又は変換係数などを計算する。
第２ＬＤＡ変換が適用される場合には、学習によって結合された単一ベクトルに対する第２ＬＤＡ変換マトリックスＷを計算し、第２ＧＤＡ変換が適用される場合には、使用するカーネル関数を指定し、学習によって指定されたカーネル関数による変換係数β及びｂを計算する。
Ｅ．複数の学習顔画像ｘ_iに対し、学習によって計算された変換マトリックス又は計算された変換係数を用いて、第１ＬＤＡ変換及び第２ＬＤＡ／ＧＤＡ変換が適用された顔記述子ｆ_iを算出する。

２．検索段階
Ａ．入力されたクエリ顔画像ｘに対し、成分分割定義によってＬ個の顔成分に分離し、分離された成分別に学習段階で計算されたＬ個の顔成分別第１ＬＤＡ変換マトリックスＷ^k、ｋ＝１、２、…、Ｌを用いて第１ＬＤＡ変換を行う。
Ｂ．入力されたクエリ顔画像ｘに対するＬＤＡ成分記述子ｙ_i ¹、ｙ_i ²、…、ｙ_i ^Lをベクトル正規化した後、単一ベクトル ｙ_i＝［ｙ_i ¹、ｙ_i ²Λ ｙ_i ^L］に結合する。
Ｃ．結合された単一ベクトルに対し、第２ＬＤＡ変換が適用された場合には、学習段階で計算された第２ＬＤＡ変換マトリックスＷを用いて第２ＬＤＡ変換を行い、第２ＧＤＡ変換が適用された場合には、指定されたカーネル関数、学習によって指定された変換係数β及びｂを用いて第２ＧＤＡ変換を行うことにより、顔記述子fを算出する。
Ｄ．入力されたクエリ顔画像ｘに対して算出された顔記述子fと前記「１．学習段階、Ｅ．」で算出された学習顔画像の顔記述子ｆ_iとの類似度を所定の類似度判断方法によって判断する。

参考として、学習段階で計算された第１ＬＤＡ変換マトリックスＷ^k、第２ＬＤＡ変換マトリックスＷ^2nd、又は第２ＧＤＡ変換の際に利用される変換係数β及びｂなどの変換マトリックス又は変換係数は、検索段階以前に予め計算されて格納されていなければならないが、前記学習顔画像の顔記述子f_i（以下、ｚ=ｆ）は、学習段階で予め算出されて格納されるか、あるいはクエリ顔画像が入力される際にクエリ顔画像と共に算出されることができる。

以下、全体的な手続に対する詳細は図面を参照して説明する。図１は本発明の一実施例による顔検索装置の構成図である。

本発明の一実施例による顔検索装置は、大きくカスケード（ｃａｓｃａｄｅｄ）ＬＤＡ変換部１０、類似判断部２０、及び学習顔画像が格納された画像ＤＢ３０から構成され、カスケードＬＤＡ変換部１０を介して入力されたクエリ顔画像の顔記述子ｚが算出される。類似判断部２０は、画像ＤＢ３０内の学習顔画像の顔記述子ｚ_iと算出されたクエリ顔画像の顔記述子ｚとの類似度を所定の類似度判断方法によって判断して検索結果を出力する。出力される検索結果は最高の類似度を有する学習顔画像、あるいは高い類似度の順に検索されて整列された学習顔画像である。

学習顔画像の顔記述子ｚ_iは、学習段階で予め算出されて画像ＤＢ３０に予め格納され、あるいはクエリ顔画像が入力される際、学習顔画像及びクエリ顔画像と共にカスケードＬＤＡ変換部１０に入力されて算出されることができる。本発明の一実施例による類似度判断方法については、図４に関する発明の詳細な説明で後述する。

前記したカスケードＬＤＡ変換部１０の構成を図１に基づいて詳細に考察する。まず、図５（ａ）に示すような顔画像が入力される画像入力部１００と、画像入力部１００を介して入力された画像を成分別に、すなわち目、鼻又は口を基準としてＬ個の成分別に分割する成分分割部２００とを含む。成分分割部２００で分割された例示的な顔画像は、図５（ｂ）に示されている。図５（ｂ）では目、鼻、口を基準として総５つの成分に分割し、分割された各成分は互いに一部オーバーラップしている。

前記分割の際、各成分を互いにオーバーラップさせる理由は、成分分割によって顔の特徴が一部損傷することを防止するためである。

成分分割部２００で分割されたＬ個の顔成分は、第１ＬＤＡ変換部３００によってＬＤＡ変換されてそれぞれの成分記述子に変換される。第１ＬＤＡ変換部３００は、成分分割部２００で分割されたＬ個の各成分をＬＤＡ変換してそれぞれの成分記述子に変換するＬ個のＬＤＡ変換部３１０と、各ＬＤＡ変換部３１０で変換された成分記述子をベクトル正規化するＬ個のベクトル正規化部３２０とを含む。前記したように、成分記述子のベクトル正規化は次の式を用いてなされる。

Ｌ個のＬＤＡ変換部３１０は、画像ＤＢ３０内の学習顔画像の学習結果に基づいて変換マトリックス／変換係数ＤＢ６００に格納された各成分別第１ＬＤＡ変換マトリックスＷ^k、ｋ＝１、２、…、Ｌを用いて、入力されたクエリ顔画像の各成分をＬＤＡ変換する。例えば、図５（ｂ）の額を含んで分割された成分をｋ＝１とするとき、前記額を含んで分割された成分はＷ¹によってＬＤＡ変換され、右目を含んで分割された成分をｋ＝２とするとき、前記額を含んで分割された成分はＷ²によってＬＤＡ変換される。

参考として、本実施例において、Ｌ個で表現されたＬＤＡ変換部３１０及びベクトル正規化部３２０は、多数の顔成分を並列処理あるいは順次処理することが可能な1つのＬＤＡ変換部３１０及びベクトル正規化部３２０に変更することができる。

Ｌ個のベクトル正規化部３２０でベクトル正規化されたＬ個の成分記述子は、ベクトル合成部４００で1つのベクトルに結合され、結合されたベクトルはＬ個に分割された成分が結合されるので、Ｌ次元で構成される。

ベクトル合成部４００で結合された単一ベクトルは、第２ＬＤＡ変換部又は第２ＧＤＡ変換部（以下、「第２ＬＤＡ／ＧＤＡ変換部」という）５００でさらにＬＤＡ又はＧＤＡ変換される。

第２ＬＤＡ／ＧＤＡ変換部５００は、画像ＤＢ３０内の学習顔画像の学習結果に基づいて変換マトリックス／変換係数ＤＢ６００に格納された第２ＬＤＡ変換マトリックス Ｗ^2ndを用いて第２ＬＤＡ変換を行うか（第２ＬＤＡ変換部の場合）、又は変換マトリックス／変換係数ＤＢ６００に格納された、予め格納されたカーネル関数、学習によって指定された変換係数β及びｂを用いて第２ＧＤＡ変換を行うことにより（第２ＧＤＡ変換部の場合）、顔記述子ｚを算出する。

カスケードＬＤＡ変換部１０でクエリ顔画像の顔記述子ｚが算出された後、類似判断部２０は、画像ＤＢ３０内に格納された学習顔画像の顔記述子ｚ_iと算出されたクエリ顔画像の顔記述子ｚとの類似度を所定の類似度判断方法によって判断して検索結果を出力する。類似判断部２０で使用される類似度判断方法としては、クエリ顔画像の顔記述子ｚと画像ＤＢ３０内の学習顔画像の顔記述子ｚ_iとの定規化された相関（ｎｏｒｍａｌｉｚｅｄ−ｃｏｒｒｅｌａｔｉｏｎ）を計算して単に類似度ｄ（ｚ₁、ｚ₂）を計算する従来の方法又は図４を参照して説明されるジョイント検索方法などを適用することができる。

参考として、前記した本発明の一実施例に係る顔検索装置は、各モジュールがいずれもハードウェアで構成されるか、あるいは一部モジュールがソフトウェアで構成されるか、あるいは全てのモジュールがソフトウェアで構成されることができる。従って、本発明の一実施例に係る顔検索装置がハードウェア又はソフトウェアで構成されることは本発明の思想から逸脱しない。このように本発明の思想から逸脱することなくソフトウェアで構成されることによる修正と変更が可能である。

次に、本発明の一実施例に係る結合された成分記述子を用いた顔検索方法を図２及び図３を参照して説明する。図２は本発明の一実施例に係る顔検索方法のフローチャートであり、図３は本発明の一実施例に係る顔検索方法の過程を示すブロック図である。

まず、画像入力部１００にクエリ顔画像ｘが入力されると、クエリ顔画像を成分分割部２で指定された成分分割定義に基づいてＬ個の顔成分に分割し（Ｓ１０）、第１ＬＤＡ変換部３００内のＬ個のＬＤＡ変換部３１０で、画像ＤＢ３０に格納された学習顔画像の学習結果に基づいて変換マトリックス／変換係数ＤＢ６００に格納された各成分別第１ＬＤＡ変換マトリックスＷ^k、ｋ＝１、２、…、Ｌを用いて、入力されたクエリ顔画像のＬ個の成分をそれぞれ第１ＬＤＡ変換する（Ｓ２０）。

Ｌ個のＬＤＡ変換部３１０で第１ＬＤＡ変換された成分記述子（ＣＤ１、ＣＤ２、…、ＣＤＬ）は、Ｌ個のベクトル正規化部３２０によってベクトル正規化し（Ｓ３０）、その後ベクトル合成部４００で１つのベクトルに作る（Ｓ４０）。

ベクトル合成部４００で１つのベクトルに結合された成分記述子は、第２ＬＤＡ／ＧＤＡ変換部５００によって第２ＬＤＡ／ＧＤＡ変換する（Ｓ５０）。

第２ＬＤＡ変換部５００の場合には、学習段階で計算された第２ＬＤＡ変換マトリックスＷ^2ndを用いて第２ＬＤＡ変換を行い、第２ＧＤＡ変換部５００の場合には、指定されたカーネル関数、学習によって指定された変換係数β及びｂを用いて第２ＧＤＡ変換を行うことにより、顔記述子ｚを算出する。

その後、類似判断部２０で、入力されたクエリ顔画像ｘに対して第２ＬＤＡ／ＧＤＡ変換部５００から算出された顔記述子ｚと、画像ＤＢ３０内の学習顔画像の顔記述子ｚ_iとの類似度を所定の類似度判断方法によって判断する（Ｓ６０）。類似度による検索結果を出力する（Ｓ７０）。前記したように、出力される検索結果は、最高の類似度を有する学習顔画像、あるいは高い類似度の順に検索されて整列された学習顔画像である。学習顔画像の顔記述子ｚ_iは、学習段階で算出されて画像ＤＢ３０に予め格納されるか、あるいはクエリ顔画像が入力される際、学習顔画像及びクエリ顔画像と共にカスケードＬＤＡ変換部１０に入力されて算出されることができる。

次に、本発明の一実施例に係る類似度判断方法を図４を参照して説明する。
本発明の一実施例では、類似度判断方法としてジョイント検索方法を使用するが、ジョイント検索方法は、類似判断部２０が、クエリ顔画像を基準として類似度が所定の類似範囲内に該当する第１類似顔画像を高い類似度の順に画像ＤＢ３０から抽出し、さらに第１類似顔画像を基準として類似度が所定の類似範囲内に該当する第２類似顔画像を抽出することにより、入力されたクエリ顔画像と画像ＤＢ３０内の学習顔画像との類似度を判断する際、前記抽出された第１類似顔画像及び第２類似顔画像を一種の加重値として用いる方法である。

本実施例では第２類似顔画像も抽出して類似度を判断したが、さらに第３又は第４類似顔画像など多数の類似顔画像まで拡張可能である。

本発明に係るジョイント検索方法は、次の数式１５で表現される。

ここで、Ｓ_i,jはイメージｉとｊとの類似度であり、ｈ^1st、ｈ^2ndは第１、第２類似顔画像においてハイランクされた顔画像のインデックス（ｉｎｄｅｘ）であり、Ｓ_q,mはクエリ顔画像ｑと画像ＤＢ３０内の所定の学習顔画像ｍとの最終類似度である。

次に、図４を参照して本発明の一実施例に係る類似度判断方法を説明する。
まず、クエリ顔画像と画像ＤＢ３０内の学習顔画像との類似度を判断する１次類似度判断を行い（Ｓ６１）、その後１次類似度判断結果に基づいて高い類似度の順に画像ＤＢ３０から第１類似顔画像を抽出する（Ｓ６２）。

次に、抽出された第１類似顔画像と画像ＤＢ３０内の学習顔画像との類似度を判断する２次類似度判断を行い（Ｓ６３）、２次類似度判断結果に基づいて高い類似度の順に画像ＤＢ３０から第１類似顔画像別に第２類似顔画像を抽出する（Ｓ６４）。最後に、抽出された第１類似顔画像及び第２類似顔画像を用いてクエリ顔画像と画像ＤＢ３０内の各学習顔画像との類似度Ｓ_q,mを計算して最終類似度を判断する（Ｓ６５）。

図６は従来の顔検索方法と本発明の一実施例に係る顔検索方法によってそれぞれ得られた実験結果を示す。図６より、本発明の一実施例に係る顔検索方法の性能が従来の方法に比べて向上したことが分かる。

図６の縦軸に表記された「Ｈｏｌｉｓｔｉｃ」は、顔画像を分割せず、全体に対してＬＤＡ変換を適用した場合であり、「ＬＤＡ−ＬＤＡ」は、本発明の一実施例に係る顔検索方法であって、第１ＬＤＡ変換の後に第２ＬＤＡ変換を適用した場合である。また、「ＬＤＡ−ＧＤＡ」は、本発明の他の実施例に係る顔検索方法であって、第１ＬＤＡ変換の後、第２ＧＤＡ変換を適用した場合である。「ＬＤＡ−ＧＤＡ」ではカーネル関数として放射基底関数（Ｒａｄｉａｌ Ｂａｓｉｓ Ｆｕｎｃｔｉｏｎ）を使用した。

また、図６の横軸に表記された「実験１」は、１６０名の人に対し各５枚の顔画像、総８００個の顔画像を学習顔画像として学習し、４７５名の人に対し各５枚の顔画像、総２３７５個のクエリ顔画像をクエリ顔画像としてテストした場合である。

「実験２」は、３３７名の人に対し各５枚の顔画像、総１６８５個の顔画像を学習顔画像として学習し、２９８名の人に対し各５枚の顔画像、総１４９０個のクエリ顔画像をクエリ顔画像としてテストした場合であり、「実験３」は、総２２８５個の顔画像を学習顔画像として学習し、総２０９０個のクエリ顔画像をクエリ顔画像としてテストした場合である。

図６の実験結果、本発明の一実施例に係る顔検索方法が従来の方法に比べてＡＮＭＲＲ（Ａｖｅｒａｇｅ Ｎｏｒｍａｌｉｚｅｄ Ｍｏｄｉｆｉｅｄ Ｒｅｃｏｇｎｉｔｉｏｎ Ｒａｔｅ）とＦＩＲ（Ｆａｌｓｅ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ Ｒａｔｅ）が向上したことが分かる。

以上、添付図面と実施例に基づいて本発明を説明したが、本発明は、前記した実施例に限定されるものではない。また、当技術分野で通常の知識を有する者には、本発明の思想から逸脱することなく修正と変更が可能なのは明らかなことであろう。

本発明の一実施例に係る顔検索装置の構成図である。 本発明の一実施例に係る顔検索方法のフローチャートである。 本発明の一実施例に係る顔検索方法の過程を示すブロック図である。 本発明の一実施例に係る類似度判断方法のフローチャートである。 本発明の一実施例に係る顔成分の分割過程を示す図である。 従来の検索方法と本発明に係る顔検索方法を適用した実験結果を示す図である。

符号の説明

１０ カスケードＬＤＡ変換部
２０ 類似判断部
３０ 画像ＤＢ
１００ 画像入力部
２００ 成分分割部
３００ 第１ＬＤＡ変換部
３１０ ＬＤＡ変換部
３２０ ベクトル正規化部
４００ ベクトル合成部
５００ 第２ＬＤＡ／ＧＤＡ変換部
６００ 変換マトリックス／変換係数ＤＢ

Claims (21)

1. 入力された顔画像を成分別に分割する成分分割部と、
   前記分割された各成分をＬＤＡ変換によってそれぞれの成分記述子に変換する第１ＬＤＡ変換部と、
   前記それぞれの成分記述子を結合するベクトル合成部と、
   前記ベクトル合成部で結合された結果をＧＤＡ変換によって顔記述子に変換する第２ＧＤＡ変換部と、
   入力されたクエリ顔画像の顔記述子と画像ＤＢ内の顔画像の顔記述子とを比較し、前記入力されたクエリ顔画像と前記画像ＤＢ内の顔画像との類似度を判断する類似判断部とを含むことを特徴とする結合された成分記述子を用いた顔検索装置。
2. 入力された顔画像を成分別に分割する成分分割部と、
   前記分割された各成分をＬＤＡ変換によってそれぞれの成分記述子に変換する第１ＬＤＡ変換部と、
   前記変換されたそれぞれの成分記述子を結合するベクトル合成部と、
   前記ベクトル合成部で結合された結果をＬＤＡ変換によって顔記述子に変換する第２ＬＤＡ変換部と、
   入力されたクエリ顔画像の顔記述子と画像ＤＢ内の顔画像の顔記述子とを比較し、前記入力されたクエリ顔画像と前記画像ＤＢ内の顔画像との類似度を判断する類似判断部とを含むことを特徴とする結合された成分記述子を用いた顔検索装置。
3. 前記第１ＬＤＡ変換部は、
   前記分割された各成分をＬＤＡ変換によってそれぞれの成分記述子に変換する成分別ＬＤＡ変換部と、
   前記変換されたそれぞれの成分記述子を一次元ベクトルにそれぞれ正規化するベクトル正規化部とを含むことを特徴とする請求項１又は２記載の結合された成分記述子を用いた顔検索装置。
4. 前記成分別ＬＤＡ変換部及び前記ベクトル正規化部は分割された成分別に多数構成されることを特徴とする請求項３記載の結合された成分記述子を用いた顔検索装置。
5. 前記画像ＤＢ内の各顔画像を学習して計算された変換マトリックス又は変換係数が格納された変換マトリックス／変換係数ＤＢをさらに含み、前記第１ＬＤＡ変換部又は前記第２ＬＤＡ／ＧＤＡ変換部は、前記格納された変換マトリックス又は変換係数を用いてＬＤＡ又はＧＤＡ変換を行うことを特徴とする請求項１又は２記載の結合された成分記述子を用いた顔検索装置。
6. 前記画像ＤＢは各顔画像に対する顔記述子を格納し、
   前記入力されたクエリ顔画像と画像ＤＢ内の顔画像との比較は、前記入力されたクエリ顔画像の顔記述子と、前記画像ＤＢに格納された各顔画像に対する顔記述子との比較であることを特徴とする請求項１又は２記載の結合された成分記述子を用いた顔検索装置。
7. 前記分割された各成分は互いに一部オーバーラップすることを特徴とする請求項１又は２記載の結合された成分記述子を用いた顔検索装置。
8. 前記分割された各成分は目、鼻又は口を基準として分割されることを特徴とする請求項１又は２記載の結合された成分記述子を用いた顔検索装置。
9. 前記類似判断部は、
   前記入力されたクエリ顔画像と類似の前記画像ＤＢ内の第１類似顔画像、及び前記第１顔画像と類似の第２類似顔画像を抽出し、
   前記第２類似顔画像と前記入力されたクエリ顔画像との類似度を用いて、前記入力されたクエリ顔画像と前記画像ＤＢ内の顔画像との類似度を判断することを特徴とする請求項１又は２記載の結合された成分記述子を用いた顔検索装置。
10. 前記入力されたクエリ顔画像と前記画像ＤＢ内の顔画像との類似度は、
    

    

    それぞれ示し、
    Ｍは前記第１類似顔画像の個数、
    Ｌは前記第１類似顔画像別の前記第２類似顔画像の個数を示すことを特徴とする請求項９記載の結合された成分記述子を用いた顔検索装置。
11. 入力された顔画像を成分別に分割する段階と、
    前記分割された各成分をＬＤＡ変換によってそれぞれの成分記述子に変換する段階と、
    前記それぞれの成分記述子を結合する段階と、
    前記結合された段階をＧＤＡ変換によって顔記述子に変換する段階と、
    入力されたクエリ顔画像の顔記述子と画像ＤＢ内の顔画像の顔記述子とを比較し、前記入力されたクエリ顔画像と前記画像ＤＢ内の顔画像との類似度を判断する段階とを含むことを特徴とする結合された成分記述子を用いた顔検索方法。
12. 入力された顔画像を成分別に分割する段階と、
    前記分割された各成分をＬＤＡ変換によってそれぞれの成分記述子に変換する段階と、
    前記それぞれの成分記述子を結合する段階と、
    前記結合された段階をＬＤＡ変換によって顔記述子に変換する段階と、
    入力されたクエリ顔画像の顔記述子と画像ＤＢ内の顔画像の顔記述子とを比較し、前記入力されたクエリ顔画像と前記画像ＤＢ内の顔画像との類似度を判断する段階とを含むことを特徴とする結合された成分記述子を用いた顔検索方法。
13. 前記ＬＤＡ変換によってそれぞれの成分記述子に変換する段階は、
    前記分割された各成分をＬＤＡ変換によってそれぞれの成分記述子に変換する段階と、
    前記変換されたそれぞれの成分記述子を一次元ベクトルにそれぞれ正規化する段階とを含むことを特徴とする請求項１１又は１２記載の結合された成分記述子を用いた顔検索方法。
14. 前記ＬＤＡ変換又は前記ＧＤＡ変換は、画像ＤＢ内の各顔画像を学習して計算された変換マトリックス又は変換係数を用いて行われることを特徴とする請求項１１又は１２記載の結合された成分記述子を用いた顔検索方法。
15. 前記判断された類似度に基づいて検索された前記画像ＤＢ内の顔画像を出力する段階をさらに含むことを特徴とする請求項１１又は１２記載の結合された成分記述子を用いた顔検索方法。
16. 前記入力されたクエリ顔画像と画像ＤＢ内の顔画像との比較は、前記入力されたクエリ顔画像の顔記述子と前記画像ＤＢ内の各顔画像に対する顔記述子との比較であることを特徴とする請求項１１又は１２記載の結合された成分記述子を用いた顔検索方法。
17. 前記分割された各成分は互いに一部オーバーラップすることを特徴とする請求項１１又は１２記載の結合された成分記述子を用いた顔検索方法。
18. 前記分割された各成分は目、鼻又は口を基準として分割されることを特徴とする請求項１１又は１２記載の結合された成分記述子を用いた顔検索方法。
19. 前記類似度判断段階は、
    前記入力されたクエリ顔画像と類似の前記画像ＤＢ内の第１類似顔画像、及び前記第１顔画像と類似の第２類似顔画像を抽出する段階と、
    前記第２類似顔画像と前記入力されたクエリ顔画像との類似度を用いて、前記入力されたクエリ顔画像と前記画像ＤＢ内の顔画像との類似度を判断する段階とを含むことを特徴とする請求項１１又は１２記載の結合された成分記述子を用いた顔検索方法。
20. 前記第１類似顔画像と第２類似顔画像を抽出する段階は、
    前記入力されたクエリ顔画像と前記画像ＤＢ内の各画像との類似度を判断する１次類似度判断段階と、
    前記１次類似度判断結果に基づいて高い類似度の順に第１類似顔画像を抽出する段階と、
    前記第１類似顔画像と前記画像ＤＢ内の各画像との類似度を判断する２次類似度判断段階と、
    前記２次類似度判断結果に基づいて高い類似度の順に第１類似顔画像別に第２類似顔画像を抽出する段階とを含むことを特徴とする請求項１９記載の結合された成分記述子を用いた顔検索方法。
21. 前記入力されたクエリ顔画像と前記画像ＤＢ内の顔画像との類似度は、
    

    

    それぞれ示し、
    Ｍは前記第１類似顔画像の個数、
    Ｌは前記第１類似顔画像別の前記第２類似顔画像の個数を示すことを特徴とする請求項１９記載の結合された成分記述子を用いた顔検索方法。
    

Images