JP2004317699A - Digital camera - Google Patents
Digital camera Download PDFInfo
- Publication number
- JP2004317699A JP2004317699A JP2003109883A JP2003109883A JP2004317699A JP 2004317699 A JP2004317699 A JP 2004317699A JP 2003109883 A JP2003109883 A JP 2003109883A JP 2003109883 A JP2003109883 A JP 2003109883A JP 2004317699 A JP2004317699 A JP 2004317699A
- Authority
- JP
- Japan
- Prior art keywords
- face
- digital camera
- area
- person
- extracted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000605 extraction Methods 0.000 claims abstract description 27
- 210000001508 eye Anatomy 0.000 claims description 43
- 238000004364 calculation method Methods 0.000 claims description 29
- 210000000887 face Anatomy 0.000 claims description 25
- 238000003384 imaging method Methods 0.000 claims description 17
- 239000000284 extract Substances 0.000 claims description 5
- 238000000034 method Methods 0.000 description 90
- 230000008569 process Effects 0.000 description 71
- 238000012545 processing Methods 0.000 description 41
- 238000011156 evaluation Methods 0.000 description 15
- 230000000875 corresponding effect Effects 0.000 description 14
- 210000001747 pupil Anatomy 0.000 description 13
- 241000593989 Scardinius erythrophthalmus Species 0.000 description 8
- 230000008859 change Effects 0.000 description 8
- 201000005111 ocular hyperemia Diseases 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 239000003550 marker Substances 0.000 description 6
- 230000009467 reduction Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 210000001331 nose Anatomy 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 3
- 230000000386 athletic effect Effects 0.000 description 3
- 210000005069 ears Anatomy 0.000 description 3
- 210000004709 eyebrow Anatomy 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013144 data compression Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 210000004209 hair Anatomy 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 241000271566 Aves Species 0.000 description 1
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 208000029152 Small face Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Landscapes
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
Abstract
Description
【0001】
【発明の属する技術分野】
本発明は、人物の特徴点を識別し、その識別結果に応じて動作するデジタルカメラに関する。
【0002】
【従来の技術】
従来から、指紋あるいは虹彩の特徴点を予め登録しておいてこれと照合することで本人を認証するシステムを初めとして画像データから人物を識別する技術はこれまで多く知られている。特開平9−251534号公報には目、鼻、口等を抽出して特徴点として登録しこれと入力した画像から抽出した特徴点とを比較して当人として識別する方法が詳細に記述されており、特開平10−232934号公報にはこの様にして抽出した特徴点を登録する場合の辞書画像の精度を上げる方法が開示されている。これらの技術をカメラに応用した例を以下に挙げる。
【0003】
特開平5−37940号公報には人物の肌色部分を抽出し、それよりやや広い範囲を測距エリアとするビデオカメラが開示されている。この時、人物が複数検出されたならば画面中央に近い人物を優先するあるいは面積の大きい人物を優先している。特開2001−215403号公報には認識した顔情報を基に眼を検出し、目に合わせて焦点情報を得る撮像装置が開示されている。この時、複数の眼を検出した場合には至近の眼を選択する。あるいは距離検出部111によって三角測量の原理で必要な測距点に対して距離マップを作成し、所定距離内にある複数の眼に焦点が合うように距離情報を生成している。特開2001−255455号公報には前向きと判定された人物に対して合焦の優先度を上げる測距装置が開示されている。特開2002−51255号公報には人物抽出手段により複数の人物が抽出された場合には主要被写体を判定し測距する主要被写体検出カメラが開示されている。ここで、最も近距離に位置する人物、最も面積の大きい人物あるいは最も画面中央に近い人物を主要被写体として判別している。特開2002−162559公報にはポートレートモード時に使用する瞳領域を検出して合焦制御する第1の合焦制御手段と、第1の合焦制御手段とは異なる一般撮影モード時に使用する第2の合焦制御手段を選択する撮像装置が開示されている。特開2002−333652号公報には顔検出手段によって検出された顔と一致する予め記録された容貌情報を検出し、焦点調整信号を発生する撮影装置が開示されている。もし画面内に複数の顔がある場合には優先度の高い顔貌コードに対応する顔に焦点を合わせる。
【0004】
【発明が解決しようとする課題】
上述した従来の発明においては主として顔の特徴点を抽出し、自動的に最大の顔や優先順位が最大の顔を主要被写体としているが、ユーザが主要被写体を選択して設定したい場合は対応できない。また、抽出した被写体情報そのものを使って被写体距離を演算しているわけではない。
【0005】
本発明においては、抽出された特徴点の大きさを判別し、その判別結果に応じて最適のAFエリアを設定することが出来るとともに特徴点に基づいて被写体までの距離を算出することが可能なデジタルカメラを提供することを目的とする。
【0006】
【問題点を解決する為の手段】
上記問題点の解決のために、請求項1の発明は、画像データ内の所定のAFエリアからの信号に基づいてフォーカス制御を行うAF手段と、前記画像データから特徴部位を抽出する抽出手段と、前記抽出手段が抽出した前記特徴部位のうちから人物の顔を識別する顔識別手段と、前記顔識別手段が識別した顔の大きさが所定値以上かどうかを判別する判別手段と、前記判別手段の判別結果に応じて前記AFエリアを設定する設定手段とを備えたことを特徴としている。すなわち、検出された顔の大きさに応じて最適のAFエリアを設定することが出来る。
【0007】
請求項2の発明は、前記判別手段が前記顔の大きさが所定値より大きいと判別したならば前記設定手段は前記顔の大きさから特定される前記顔部分を前記AFエリアとして設定することを特徴としている。請求項3は、前記判別手段が前記顔の大きさが所定値より小さいと判別したならば、前記設定手段は前記顔部分より広く且つ前記顔部分を内部に含んだ所定のエリアを前記AFエリアとして設定することを特徴としている。請求項4の発明は、更に、前記顔識別手段が識別した顔内部の眼を識別する眼識別手段を備え、前記判別手段が前記顔の大きさが所定値より大きいと判別したならば、前記設定手段は前記顔部分より狭く且つ前記眼識別手段が識別した眼を内部に含んだ所定のエリアを前記AFエリアとして設定することを特徴としている。請求項5の発明は前記判別手段は更に前記抽出手段が抽出した前記特徴部位のうちから人物の顔を識別する顔識別手段と、前記顔識別手段が識別した顔の位置を判別する位置判別手段を備え、前記位置判別手段が前記顔の位置が予め定められた第1のエリア外だったならば、前記設定手段は予め定められた第2のエリアを前記AFエリアとして設定することを特徴としている。すなわち、撮影画面の隅に被写体があった場合には予め設定されている中心部エリア等をAFエリアとする。請求項6の発明は、前記判別手段は更に、前記抽出手段が抽出した前記特徴部位のうちから人物の顔を識別する顔識別手段と、前記顔識別手段が識別した顔の数を判別する数判別手段を備え、前記数判別手段が前記顔の数が複数であると判別した場合には、前記選択手段は前記複数の顔の中から最も大きな顔を含む所定エリアを前記AFエリアとして設定することを特徴としている。
【0008】
請求項7の発明は、被写体を撮影するためのズームレンズとフォーカスレンズとから構成される撮影レンズと、前記ズームレンズ位置を検出する検出手段と、前記撮影レンズを通して撮影した画像データから特徴部位とその特徴部位に関連する情報を抽出する抽出手段と、前記抽出手段が抽出した前記特徴部位に関連する情報と前記検出手段が検出した前記ズームレンズ位置とに基づいて前記被写体までの距離を演算する演算手段とを備えたことを特徴としている。すなわち、抽出した特徴部位情報とズームレンズ位置とから被写体までの距離を演算している。請求項8の発明は、前記特徴部位に関連する情報とは顔の大きさあるいは眼幅の少なくとも一つであることを特徴としている。請求項9の発明は、更に、前記演算手段が演算した前記被写体までの距離に基づいて前記フォーカスレンズの移動範囲を所定の範囲に制限する制限手段を備えたことを特徴としている。この様にフォーカスレンズの移動範囲を制限することでAF動作を高速にすることが可能になるととともに、背景にコントラストの大きい被写体があるような場合であってもそれに引っ張られないようにすることが出来る。請求項10の発明は、更に、前記撮像手段に入射する光量を制御する絞り手段と、前記抽出手段が複数の顔を抽出した場合には前記演算手段が演算した前記複数の顔それぞれに対する距離に基づいて前記複数の顔のうち所定の顔が合焦するように前記絞り手段の絞り値を決定する絞り値決定手段とを備えたことを特徴とする。すなわち演算した各顔までの距離に応じて絞り値を変えて所定の顔を撮影レンズの焦点深度内に入れることが出来る。
【0009】
請求項11の発明は、画像データから被写体の特徴部位を抽出する抽出手段と、
撮影開始を指示する指示手段と、前記指示手段の1回の撮影指示に基づいて連続して撮影する連続撮影モード設定手段と、前記連続撮影モード設定手段によって連続撮影モードに設定され、前記撮影指示手段による撮影指示に基づいて連続撮影しているときに前記特徴部位から特定される前記被写体の大きさの差情報に基づいて前記被写体までの距離を演算する演算手段とを備えたことを特徴としている。これにより連写撮影において2コマ目以降は1コマ目との差情報を利用しているだけであるので高速に連続移動被写体までの距離を検出することが出来る。請求項12の発明は、前記被写体の大きさの差情報とは前記抽出手段によって抽出された前記被写体の眼幅あるいは顔の大きさの差情報の少なくとも一つであることを特徴とする。
【0010】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図1は、本発明のデジタルカメラについてその主要な機能を説明したブロック図である。
【0011】
撮影レンズ101はその焦点距離を連続的に変えるためのズームレンズ、ピントを調整するフォーカシングレンズ、撮影時の手ブレを補正するVR(Vibration Reduction)レンズから構成されている。これらのレンズはドライバ113により駆動される。ここでドライバ113はズームレンズのズーム駆動機構及びその駆動回路と、フォーカシングレンズのフォーカス駆動機構及びその駆動回路と、VRレンズ駆動機構及びその駆動回路とを備えていて、それぞれCPU112により制御される。検出器121はフォーカシングレンズの位置およびズームレンズ位置を検出しCPU112にそれぞれのレンズ位置を伝える。
【0012】
撮影レンズ101は撮像素子103の撮像面上に被写体像を結像する。撮像素子103は撮像面上に結像された被写体像の光強度に応じた電気信号を出力する光電変換撮像素子であり、CCD型やMOS型の固体撮像素子が用いられる。撮像素子103は信号取り出しのタイミングをコントロールするドライバ115により駆動される。撮影レンズ101と撮像素子103との間には絞り102が設けられている。絞り102は、絞り機構とその駆動回路を備えたドライバ114により駆動される。固体撮像素子103からの撮像信号はアナログ信号処理回路104に入力され、アナログ信号処理回路104において相関二重サンプリング処理(CDS)等の処理が行われる。アナログ信号処理回路104で処理された撮像信号は、A/D変換器135によりアナログ信号からデジタル信号に変換される。
【0013】
A/D変換された信号はデジタル信号処理回路106において輪郭強調やガンマ補正などの種々の画像処理が施される。輪郭強調用のパラメータは予め複数用意されていて画像データに応じて最適のパラメータが選択される。このデジタル信号処理回路106には記録のための処理を施す輝度/色差信号生成回路等も含まれていて、これらを生成するためのパラメータも予め複数用意されている。これらの複数の色変換用パラメータから撮影された画像の応じて最良の色再現を得るために最適のパラメータが選択される。これら輪郭強調や色再現のための複数のパラメータは後述する記憶部1127に記憶されていて、ここから最適のパラメータをCPU112が選択する。バッファメモリ105は撮像素子103で撮像された複数フレーム分のデータを記憶することが出来るフレームメモリであり、A/D変換された信号は一旦このバッファメモリ105に記憶される。デジタル信号処理回路106ではバッファメモリ105に記憶されたデータを読み込んで上述した各処理を行い、処理後のデータは再びバッファメモリ105に記憶される。
【0014】
CPU112はデジタル信号処理回路106およびドライバ113〜115等と接続され、カメラ撮影動作のシーケンス制御を行う。CPU112のAE演算部1121では撮像素子からの画像信号に基づいて自動露出演算を行い、AWB演算部1122ではホワイトバランス用パラメータを設定するための演算が行われる。特徴点抽出演算部1123では所定のアルゴリズムに則って画像データの中から人物の形状、位置、サイズ等の特徴点を記憶部1127に記憶するとともに検出した顔や眼幅等の大きさとそのときの検出器121によって検出したズームレンズの焦点距離とから抽出したそれぞれの人物までのおよその距離も演算し抽出日時とともに記憶部1127に記憶する。ここで、図22を用いてこの距離演算方法を説明する。図22は抽出した眼幅を基に人物までの距離を演算する場合を示している。Aは一般成人の実際の眼幅の平均値、aは抽出された撮像素子上に結像した眼幅、Lは撮像レンズから人物までの距離、fはレンズの焦点距離である。この図から次の比例式が容易に導かれる。
【0015】
A/L=a/f
ここから、人物までの距離Lは、L=(A/a)・fとなる。記憶部1127にはこの様にして抽出された特徴点やそれに基づいて演算した特徴点迄の距離が一旦記憶される。それら記憶された特徴点の中からユーザは残しておきたい特徴点を選択して登録する。この登録する内容や登録方法については図13を基に後で詳細に説明する。
【0016】
バンドパスフィルタ(BPF)1124は、撮像領域に設けられた焦点検出エリア内の撮像信号に基づいて、所定帯域の高周波成分を抽出する。BPF1124の出力は次の評価値演算部1125に入力され、ここで高周波成分の絶対値を積分し焦点評価値として算出される。AF演算部1126はこれらの焦点評価値に基づいてコントラスト法によりAF演算を行う。CPU112はAF演算部1126の演算結果を用いて撮影レンズ101のフォーカシングレンズを調整し、合焦動作を行わせる。
【0017】
CPU112に接続された操作部116には、カメラの電源をオンオフする電源スイッチ1161、レリーズ釦に連動してオンオフする半押しスイッチ1162及び全押しスイッチ1163、撮影モードの各種の内容を選択するための設定釦1164、再生画像等を更新するアップダウン(U/D)釦1165等が設けられている。設定釦1164では抽出した特徴点に対して名称を付けるためにU/D釦1165を併用してアルファベットやひらがな、カタカナ、簡単な漢字等を選択して設定することもできる。U/D釦1165はこれ以外にも、複数抽出された人物から所望の人物を選択したり、撮影時には手動でズームレンズをテレあるいはワイド側に駆動するためにも使用される。
【0018】
被写体輝度が低い場合にはストロボ122を発光させる。このストロボにはストロボ使用時に撮影した人物の瞳が赤く撮影されるのを防止あるいは軽減する赤目防止のためや低輝度時に被写体輝度を予め測定するために撮影前に予め補助光を発光するプリ発光機能も備わっている。123はカメラの何らかの異常時に音声で警告するためのブザー等の発音体である。記憶部1127には前述した特徴点情報以外にAF演算の結果から検出される評価値のピーク値や対応するレンズ位置等も記憶される。デジタル信号処理回路106で各種処理が施された画像データは、一旦バッファメモリ105に記憶された後に、記録・再生信号処理回路110を介してメモリカード等の外部記憶媒体111に記録される。画像データを記憶媒体111に記録する際には、一般的に所定の圧縮形式、例えば、JPEG方式でデータ圧縮が行われる。記録・再生信号処理回路110では、画像データを外部記憶媒体111に記録する際のデータ圧縮及び外部記憶媒体111や他のカメラから転送されてきた圧縮された画像データの伸長処理を行う。121はそれぞれデジタルカメラ等の他の外部機器と無線あるいは有線で接続してデータ通信を行うインタフェース回路である。これら各インタフェースは同時に複数個備わっていても良い。
【0019】
モニタ109は撮像された被写体画像を表示したり撮影や再生させる際に各種の設定メニューを表示するための液晶(LCD)表示装置である。ここでは記憶媒体111に記録されている画像データや他のカメラから転送されてきた画像データを再生表示する際にも用いられる。モニタ109に画像を表示する場合には、バッファメモリ105に記憶された画像データを読み出し、D/A変換器108によりデジタル画像データをアナログ映像信号に変換する。そして、そのアナログ映像信号を用いてモニタ109に画像を表示する。
【0020】
このカメラで採用しているAF制御方式のコントラスト法について説明する。この方式では、像のボケの程度とコントラストの間には相関があり、焦点があったときに像のコントラストは最大になることを利用して焦点あわせを行う。コントラストの大小は撮像信号の高周波成分の大小により評価することが出来る。すなわち、BPF1124により撮像信号の高周波成分を抽出し、評価値演算部1125で高周波成分の絶対値を積分した物を焦点評価値とする。前述したように、AF演算部1126はこの焦点評価値に基づいてAF演算を行う。CPU112はAF演算部1126の演算結果を用いて撮影レンズ101のフォーカシングレンズ位置を調整し、合焦動作を行わせる。
【0021】
図2、図3に顔認識機能を備えたデジタルカメラの全体の動作フローを示す。図2においてまずステップS101でデジタルカメラの電源が電源SW1161によりオンされたことを検出するとステップS102でデジタルカメラの動作モードを確認する。ここでは設定釦S1164によって被写体を撮影する撮影モードに設定されているかメモリカードに記録されている画像データを再生表示する再生モードに設定されているかを判別する。再生モードに設定されていたならば図3ステップS117に進み、撮影モードに設定されていたならばステップS103に進む。ステップS103ではLCDモニタ109に撮影する被写体画像を動画で表示する。ステップS104では表示されている画像に対して所定のアルゴリズムに従って特徴点を抽出する特徴点抽出処理を行うよう設定されているかどうか判別する。この設定には設定釦1164を使用する。特徴点抽出処理をするように設定されていなかったならばステップS113に進み通常の撮影動作をする。特徴点抽出処理をするよう設定されていたならばステップS105に進んでLCDモニタ109に表示している動画像データの1コマあるいは2〜3コマ毎に表示画像から特徴点とその位置情報を抽出する。この抽出される特徴点としては人物の顔、眼、瞳、眉、鼻、口、耳、手、足、眼鏡等の輪郭やその向き、位置、大きさがある。さらに、髪型、骨格、着衣の種類も抽出することによって、男女の性別や人種を判別したり、年齢についても判断することが出来る。また、人間だけでなく、犬、猫、鳥等の動物や家屋、自動車等一般の被写体に対しても抽出することが出来る。以下の説明では主として人間に対して特徴点を抽出する。
【0022】
ステップS106では抽出した複数の特徴点に対して、予めデジタルカメラの記憶部1127に登録されている特徴点と一致するものがあるかどうか判別する。一致する特徴点がなかったならばステップS107でLCDモニタ109に表示している画像に対して特徴点が検出されたことを示すマーカを重畳して表示する。もし登録してある特徴点と一致する特徴点が検出された場合にはステップS108で登録済みであることを区別出来るように他の特徴点と異なるマーカで重畳表示する。図15に表示結果の1例を示す。ここでは画面内の5名の人物のうち1名は遠くにいて小さすぎるため顔としての特徴点が検出されず、残り4名に対して顔の特徴点が検出され、さらにそのうち1名が登録済みであることが判別されたことを示している。単に特徴点が検出されただけの3名に対してはそれぞれの顔を波線で囲っていて、既に登録済みの1名に対しては実線で囲っている。
【0023】
さらに、特徴点に対応した人名等の個人名情報も特徴点情報として同時に登録されていた場合には図15に示すようにそれも同時に表示する。これにより被写体の確認をより一層確実にすることが出来る。また、本実施例では、後述するAEエリアやAFエリアを選択する際の優先順位も特徴点情報として登録している。図13に記憶部1127における特徴点に関する記録状態の一例を示す。図13において特徴点としてA氏、B子、Cちゃんというようにそれぞれ名前が付けられた特徴点と、名前が付けられていない特徴点が名称無しとして順に登録されている。A氏の登録内容は更に前述したAEエリアやAFエリアを選択する際の優先順位が1に設定されている。これにより例えばA氏とCちゃんが同時に撮影画面内に抽出されたとしたらA氏を含むエリアが優先してAEエリアあるいはAFエリアに設定される。この優先順位は任意に変更することが出来る。A氏の特徴点情報としてA氏の特徴点を登録した日にちが登録日として次に記録されている。ここで(1)で示される登録日は最初にA氏を登録した日にちで(2)、(3)は(1)と異なった状態たとえば横向き、後ろ向き、眼鏡着用等の状態で撮影されたA氏の他の特徴点を追加して登録した日にちを示している。
【0024】
このように、眼鏡や髭の有無等によって同一人物としての特徴点を複数登録することで抽出した特徴点に対して人物を識別する確度が向上する。この特徴点についてもその内容をLCDモニタ109に表示するとともに任意に追加あるいは削除することが出来る。優先度、登録日以外に簡単なコメントやこの特徴点が検出された場合に有効な記録時あるいは再生時の処理方法(ホワイトバランス設定や輪郭補償処理設定等)、特徴点までの距離等についても記録するようにしても良い。このようにして登録するよう設定された特徴点の実際のデータは下の特徴点データエリアに順に記録される。
【0025】
ステップS109〜ステップS114では抽出した特徴点に応じた特有の処理をするときのステップを示している。もちろん特徴点が検出された場合であってもこれらの各ステップのうちからどのステップを採用するかは設定釦1164を使って任意に選択可能となっている。以降ではこれら全てのステップを選択するよう設定された場合について説明する。ステップS109では表示されている抽出結果を登録する。このステップS109の登録については図4で詳細に説明する。登録が終了したならばステップS110の撮影画角設定のステップに進む。このステップS110の設定をすることにより、撮影画面の中に複数の人物がいた場合でも自動的に目的の被写体を判別してその人物をズームアップして画面中央に捉えることが出来る。この機能は、自分の子供の運動会や発表会での撮影の際に効果的である。このステップS110の詳細については図5で説明する。ステップS111では撮影条件の設定を行う。ここでは撮影画面中に複数の人物がいた場合、希望する人物を含む所定エリアをAFエリアやAEエリアに設定したり、人物の大きさや数に応じた絞り設定を行う。このステップS111の詳細については図6〜図8で説明する。ステップS112ではストロボの設定を行う。ステップS112の詳細については図9で説明する。ここまでのステップS109からステップS112迄は撮影前の設定であり、撮影画面に応じて任意に設定順を変えることが出来るとともに各ステップにおいて一旦設定した内容を再設定することも可能である。
【0026】
ステップS113では被写体の撮影を行う。ここでは人物を検出して撮影枚数を自動的に設定したり、人物の撮影時の動作に応じて実際の露光を行う。この撮影ステップについては図10、図11で詳細に説明する。撮影終了後はステップS114で記録処理を行う。ここでは被写体の顔を検出してホワイトバランスを変えたり顔のシミやほくろ等を自動的に軽減する処理を行う。このステップS114の詳細は図12で行う。ステップS115では処理済みの画像データと特徴点情報とを一つのファイルとしてメモリカードに記録する。ステップS116では電源がオフされているかどうか判別する。オフされていなかったならばステップS102に戻ってデジタルカメラの動作モードを判別する。電源スイッチがオフされていたならば本シーケンスを終了する。
【0027】
ステップS102で再生モードに設定されていたならば図3ステップS117でメモリカード111に記録されていた画像データを再生してLCDモニタ109に表示する。この再生画像は静止画であっても動画であっても良い。ステップS118では再生画像に対してステップS104と同様に特徴点抽出処理を行うよう設定されているかどうか判別する。設定されていなかったならばステップS126に進み通常の再生動作を行う。特徴点抽出処理をするように設定されていたならばステップS119に進んで再生画像データに既に何らかの特徴点情報が付加されているかどうか判別する。特徴点情報が付加されていなかった場合にはステップS120でステップS105と同様に画像データから特徴点を抽出する。特徴点情報が付加されていた場合にはステップS121に進み、画像データに付加されている特徴点情報を読み出す。ステップS121では再生画像に抽出した特徴点あるいは読み出した特徴点や特徴点情報を重畳表示する。特徴点に代わって前述したマーカ表示やアイコン表示するようにしても良い。
【0028】
ステップS123では抽出した特徴点あるいは付加されていた特徴点が記録部1127に登録されている特徴点と一致するものがあるかどうか判別する。ここでも前述したステップS106の場合と同様、一致する特徴点がなかったならばステップS124でLCDモニタ109に表示している画像に対して特徴点が検出されたことを示すマーカやアイコンを重畳して表示する。もし登録してある特徴点と一致する特徴点が検出された場合にはステップS125で登録済みであることを区別して他の特徴点と異なるマーカで重畳表示する。ステップS126では表示されている抽出結果を登録する。この登録についても図4で説明する。ステップS126での登録が終了したらステップS127で次の画像データを再生するかどうか判別し、U/D釦1165で次の画像を選択されたならばステップS117に戻る。次画像が選択されなかったならばステップS128に進み、電源スイッチ1161がオフされたかどうか判別する。もしオフされていなかったならば図2ステップS102に戻り、オフされていたならば本シーケンスを終了する。
【0029】
《特徴点情報の登録》
図4を使って特徴点情報を登録するステップについて説明する。この図4の登録のステップは前述した図2ステップ109と図3ステップS126とで共通している。画像データが撮影した画像データの場合にはステップS151においては特徴点抽出演算部1123によって抽出した特徴点と同一の特徴点が記憶部1127に登録されているかどうか判別する。画像データが再生画像データの場合には、ステップS151ではその再生画像データに付加されている特徴点と特徴点情報とを読み出し、この読み出した特徴点あるいは特徴点情報と同一の特徴点や特徴点情報が図13で説明した記録形態で記憶部1127に記憶されているかどうか判別する。再生画像データにその特徴点や特徴点情報が付加されていない場合には撮影画像データの場合と同様に再生画像から特徴点を抽出する。ここで画像データに付加されている特徴点情報について図14を基に説明する。図14に示すようにDSC002という画像データのファイルには実際の画像データ以外に特徴点情報と特徴点データが付加して記録される。図14の場合には特徴点情報として、A氏とCちゃんの2名について登録されている。登録内容としては、優先度とこの画像データにおいてA氏あるいはCちゃんを抽出した日にちとその特徴点の重心位置、A氏については更にこのDSC002という画像データ以外の画像データから抽出したA氏の他の特徴点が二つあるのでそれについても追加して登録している。ここでも図13と同様に簡単なコメントや記録時あるいは再生時の処理方法について記録しておいても良い。更に特徴点抽出演算部1123で演算した特徴点までの距離を記録しておいても良い。特徴点情報のデータ内容の変更、追加、削除は任意である。これらA氏あるいはCちゃんの実際の特徴点データはその下の特徴点データエリアに順に記録される。
【0030】
ステップS151で撮影画像データの特徴点あるいは再生画像データに付加されていた特徴点と特徴点情報が記憶部1127に登録済みであったならばステップS152に進む。ここでは登録済み特徴点あるいは特徴点情報を追加あるいは変更するかどうか判別する。具体的には抽出した人物名や優先順位を入力したり変更したりする。ステップS152で追加あるいは変更しなかったならばステップS156に進み、追加あるいは変更入力されたならばステップS153に進む。
【0031】
ステップS151で特徴点とその特徴点情報とを登録していなかったならば、ステップS153に進む。ここでは抽出した特徴点や登録する特徴点情報をLCDモニタ109に表示する。ステップS154では表示されている特徴点や特徴点情報を登録するよう指示されたかどうか判断する。原則として、新たに検出された特徴点が既に登録されている特徴点と全く同一でない限り新規に抽出した特徴点はステップS155で特徴点と特徴点情報を記憶部1127に追加して記憶する。この記憶指示は例えば設定釦1164でLCDモニタ109の画面に表示されている登録実行表示を選択することで行うことが出来る(不図示)。これにより次第に人物の識別の精度が高くなる。抽出された特徴点が既に登録されていたり、ユーザにとって全く無関係の特徴点が抽出されていた場合などは新規に登録指示をしないのでステップS156に進む。ステップS156では同一画面内の他の特徴点についても登録を行うかどうか判別する。もしも他の特徴点が選択されたならばステップS151に戻ってこれまでと同様の手順で登録する。
【0032】
他の特徴点が選択されなかった場合にはステップS157に進んでデジタルカメラの動作モードを判別する。もし撮影モードに設定されていたならばこの登録のステップを終了する。被写体を変更したりして表示画面が変わった場合にはその都度この登録動作を行う。カメラの動作モードが再生モードだった場合にはステップS158に進む。ここでは今度は設定釦1164でカード記録実行表示が選択された(不図示)かどうか判別する。記録指示が選択された場合には変更あるいは新規に追加された特徴点あるいは特徴点情報を原画像に付加してメモリカードに記録する。もし選択されなかった場合には付加情報の更新は行わずに本登録のステップを終了する。
【0033】
《撮影画角設定》
図2ステップS110の撮影画角の設定について図5を使って説明する。これは例えば自分の子供のCちゃんをその運動会で撮影したいというような場合に好適な設定シーケンスである。まずステップS171では撮影したい人物(例えばCちゃん)を記憶部1127に記憶されている特徴点情報の中から人物の固有名情報に基づいて設定釦1164を使って選択し優先撮影人物として予め登録する。この優先撮影人物として登録された人物に対しては前述した特徴点に付加されている優先順位より優先する。ステップS172では撮影画面中に人物(主として顔)が抽出されたかどうか判別する。もし抽出されなかった場合にはステップS173に進んでCPU112はドライバ113を駆動してズームレンズを長焦点方向にズーミングアップしていく。このズーミングアップは手動であっても自動であっても良い。ステップS174ではズームレンズが最大ズーム位置に達したかどうか判別して達していなかったならばステップS172に戻って人物が抽出されるまでこれを繰り返す。ステップS174でズームレンズが最大焦点位置に達したならばステップS175に進みLCDモニタ109上に人物が検出されない旨の警告表示(不図示)して本画角設定のステップを終了する。撮影者が撮影方向を変えて撮影画面が変わったらステップS172からのステップを繰り返す。
【0034】
ステップS172で顔が検出されたならばステップS176で図15に示したように抽出した人物の顔にマーカを重畳表示する。この表示画面を見てユーザは予め設定した人物の顔が撮影画面内に入っているかどうかを確認する。もし入っていなかったならば画面を移動させて所望の人物を容易に画面内に捉えることが出来る。ステップS177では画面内の設定した人物が所定の大きさ以上かどうか判別する。もし所定の大きさ以上だった場合には本ステップを終了し、所定の大きさ以下だった場合にはステップS178に進む。ステップS178ではCPU112はズームレンズを自動的にズーミングアップしていく。このとき前述したVRレンズも同時にドライバ113で駆動して抽出した被写体の重心が画面中央近傍から外れないようにする。
【0035】
ステップS179では設定した人物の顔の大きさが所定の大きさ以上になったかどうか判別する。もし所定の大きさ以上でなかったならばステップS177に戻りズームレンズとVRレンズの駆動を継続する。ステップS180で最大ズーム位置に達したならばステップS181に進んで警告する。この警告はLCDモニタ109上に警告表示する(不図示)とともにブザー123でも音声で警告して本シーケンスを終了する。ステップS179で所望の人物の顔の大きさが所定の大きさ以上になった場合には本シーケンスを終了する。ここで所定の大きさについては例えば全画面の約10%というように予めその大きさを設定釦1164を用いて設定しておく。また、ステップS178でズーミングアップすることはせずに単に所望の人物の顔をVRレンズで画面中央部に移動させるだけに止めておいても良い。こうすることでユーザは中心にある所望の被写体を手動で自分の好みの大きさに手動でズーミングアップすることが出来る。この様にして、運動会、演奏会、発表会等の大勢の子供がいる中から自分の子供を確実に見つけて記録することが出来る。また、ここまでの説明では顔が小さかった場合について自動的にズーミングアップするようにしていたがこの逆に顔が大きすぎた場合に所定の顔の大きさになるように自動的にズームダウンするようにしても良い。同様に、ステップS174で最大ズーム位置になった後ユーザによって画面が変えられたならば顔が抽出されるまで今度は逆にズームダウンするようにしても良い。これらの場合のシーケンスもズームアップする場合とほぼ同様であるので説明は省略する。
【0036】
《撮影条件の設定》
図2ステップS111の撮影条件の設定について図6〜図8を使って説明する。図6は複数被写体が抽出されたときにそれぞれの被写体までの距離に応じて絞り値を変えて最適な焦点深度を設定するフローである。ステップS201で人物の顔の輪郭あるいは眼が検出されたかどうか判別する。どちらも検出されなかった場合にはステップS208に進み、風景等の遠景撮影であると判断してステップS208に進んで絞り値を大きく設定して焦点深度を深くする。ステップS201で顔の輪郭あるいは眼が検出された場合にはステップS202に進む。ステップS202ではそのときのズームレンズ位置(焦点距離)を検出器121で検出し、記憶部1127に記憶する。ステップS203では前述したように抽出された顔の輪郭の大きさあるいは眼幅と記憶部1127に記憶されたズームレンズ位置とから被写体までの距離を演算して記憶部1127に記憶する。ステップS204では撮影画面内の全ての人物に対して距離演算が終了したか判別する。もし終了していなかったならばステップS203に戻ってそれぞれの人物に対して距離演算して記憶部1127に記憶する。
【0037】
抽出した全ての人物に対して距離演算が終了したならばステップS205に進み抽出した人物の数を判別する。ステップS205で人物の数が所定値以上であると判別されたならば集合写真と判断してステップS208に進んで焦点深度を深くして全ての人物に対して焦点が合うように絞り値を大きく設定する。具体的には、ステップS203で検出された各人物までの距離に基づいて全ての人物に対して焦点が合うための最適の焦点深度を求め、それに相当する絞り値を設定する。ステップS205で人物の数が所定値以下であると判別されたならば、ステップS206に進んでここでそれぞれの顔の大きさを判別する。もし顔の大きさが所定の大きさ以上であると判別されたならばステップS207に進み、ポートレート撮影と判断して絞り値を小さくすることで焦点深度を浅く設定する。ステップS206で顔の大きさが所定の大きさ以下であると判断されたならば風景を含めた記念写真と判断してステップS208に進み絞り値を大きくして焦点深度を深くする。ここで所定の人数とは3ないし4名程度に予め設定する。
【0038】
この様にすることにより、ユーザが撮影モードを予め風景撮影用のモードに設定していた場合に撮影画面内に人物が検出されたならば自動的に人物撮影に適した深度の浅いポートレート撮影用のモードで撮影することが出来る。逆にポートレート撮影用のモードに設定していたときに人物が検出されなかったならば自動的に深度の深い風景撮影用のモードに変更して撮影することが出来る。なお、ここで説明した被写体までの距離の演算方法において、顔の大きさや眼幅は大人や子供で異なり大人同士、子供同士であっても個人差がある。それ故、あくまでも大人あるいは子供の平均の顔の大きさ、眼幅から求めたおおよその距離である。正確な合焦位置は前述したコントラスト法によるピーク位置に基づいて決定される。
【0039】
次に図7、図16、図17、図18を使用してAFエリアあるいはAEエリアの設定について説明する。図7においてはAFエリアの設定ということで説明しているがAEエリアの設定についても全く同様である。図7ステップS221においてまず撮影画面内の所定の範囲内に人物がいるかどうか判別する。人物の有無の判別方法としてはここでは顔の輪郭が抽出されたかどうかで判別するものとする。もし人物がいなかったならばステップS222に進んで予め設定された中央部等の固定のエリアをAFエリアとする。これは、もしも人物が抽出されたとしてもその人物が画面の隅の方にいた場合には撮影者は人物に重点を置いて撮影しようとしてはいないと判断し、これを排除するためである。図16にこの場合の撮影画面例を示す。図において太い波線でマーカ表示されている人物は画面内の細い波線で示す範囲外にいるのでその場合には予め設定された画面中央の太い実線枠内をAFエリアに設定する。多点測距可能な場合にはこのAFエリアは画面中央以外にも設定可能である。
【0040】
ステップS221で画面所定範囲内に人物が抽出された場合にはステップS223に進み、抽出された人物の顔の数が複数かどうか判別する。複数でなかった場合にはステップS228に進み、複数だった場合にはステップS224に進む。ステップS224では抽出された顔のうち最大の顔を選択してそこをAFエリアとして設定しAFエリアであるという表示をする。図17にこの場合の撮影画面の表示例を示す。ここでは抽出された実線で表示されている最大顔部分がAFエリアとして設定されていることを示している。ステップS225では自動的に設定されたAFエリア以外の人物位置をAFエリアに設定するかどうか判別する。もし撮影者が設定釦1164を操作して波線で表示されている他の人物のいずれかを選択したならばその操作に従ってAFエリアを順に移動させる。この場合の選択の順番としては、もし前述した優先順が記憶されている人物であったならばその優先順に従って選択されるがそれ以外に抽出された顔の大きさの順に選択されるようにしても良い。ステップS227で選択が終了したならばステップS228に進み抽出された顔の面積の大きさが第1の所定値以上かどうか判別する。もし第1の所定値以下だった場合にはステップS229に進んで抽出した顔を内側に含む所定の大きさ(例えば第1の所定値)にAFエリアを設定する。これは抽出された顔の面積が小さすぎる場合には前述したAF演算の際の精度が悪くなるからである。図18にこの場合の表示例を示す。
【0041】
ステップS228で抽出された顔の面積が第1の所定値以上だった場合にはステップS230に進んでここで更に第2の所定値以上かどうか判別する。もし第2の所定値以上だった場合にはポートレート撮影であると判断してステップS231に進んで顔全体をAFエリアに設定するのでなく更に抽出した目の位置をAFエリアに設定する。図19にこの場合の表示例を示す。第2の所定値以下だった場合にはステップS232に進み、先に抽出された顔の面積をAFエリアに設定する。ここで第1および第2の所定値とは各種被写体を撮影した上で予め最適の値が設定されている。
【0042】
ここまでの説明においてステップS224では最大の顔を初めに選択するようにしたがこれを前述した登録の優先順位の最も高い人物あるいは撮影画角設定の項で説明した優先撮影人物を初めに表示するようにしても良い。あるいは顔の抽出と同時にその人物までの距離を計算して最短距離にいる人物から順に選択するようにしても良い。また、前述した優先撮影人物に対してはその演算された距離に基づいてフォーカスレンズの移動範囲を演算距離の前後の所定範囲のみ移動可能なように制限してやることで、人物に対するAF動作を背景の影響を受けにくくすることが可能となる。更にこの優先撮影人物に対してAF追従動作が確実かつ高速になる。そのほか、スポーツ撮影等で連写撮影モードに設定されている場合には、一コマ目の撮影はコントラスト法による評価値ピークに基づいて撮影距離を決定し、2コマ目以降の撮影の場合には前回撮影したときとの人物や顔の輪郭あるいは眼幅の前のコマとの差(変化量)を検出してそのときのズームレンズ位置とあわせて被写体までの距離を演算することも容易に可能である。こうすることで高速に被写体変動に追従することが可能なAF制御を実現することが出来る。
【0043】
ここまでのAFエリアの設定のシーケンスは前述したようにAEエリアの設定においても全く同様に適用することが出来る。もちろんこの場合においても前述した第1の所定値および第2の所定値はAFエリアの時と同様に実験で予め最適値が決定される。
【0044】
次に図8に基づいて撮影モードの変更について説明する。ステップS241で撮影モードが人物を撮影するに適した人物撮影モードに設定されているかどうか判別する。この人物撮影モードにおいては1例として背景をぼかすために絞りは開放に近い値に設定し、ホワイトバランスは肌色を重視した設定にし、測距モードはAFモードに設定される。もし人物撮影モードに設定されていたならばステップS242に進み、ここでは人物が抽出されたかどうか判別する。もし抽出されなかったならばステップS243に進み、ブザーやモニタ等で警告するとともにステップS244で遠景撮影に適した風景撮影用モードに変更して本シーケンスを終了する。この風景撮影用のモードの場合には焦点深度を深くするために絞りは大きな値に設定され、測距モードは焦点深度に応じて無限位置まで合焦する固定位置にフォーカスレンズを駆動する。ホワイトバランスは通常撮影時に使用される設定にするかあるいは昼間の撮影であったならば木の緑や青空を重視した設定にする。ステップS242で人物が検出された場合には本ステップは終了する。ステップS241で人物撮影モードに設定されていなかった場合にはステップS245に進んでここで人物が検出されたかどうか判別する。もし検出されなかった場合には本シーケンスを終了し、検出されたならばステップS246に進んでブザーやモニタで警告するとともに、ステップS247で人物撮影用のモードに変更し本シーケンスを終了する。
【0045】
《ストロボの設定》
図9を用いてストロボの発光量を設定する方法について説明する。ステップS251では所定のAEエリア内の被写体に対してAE演算回路1121で測定した被写体輝度が所定値より大きいかどうか判別する。ここで被写体とは人物に限定されない。もし被写体輝度が所定値より小さい暗い被写体だった場合にはステップS261に進み、所定値より大きくて被写体が明るかった場合にはステップS252に進む。ステップS252では撮影画面中に人物が抽出されたかどうか判別する。ここでも人物としては顔の輪郭が抽出されたかどうかで判別する。もし顔の輪郭が抽出されなかった場合にはステップS253に進んでストロボを非発光に設定する。この非発光設定に基づいて撮影時にはCPU112はストロボを非発光にするよう制御する。これにより実際の撮影時にはAE演算部1121の演算結果に基づいたシャッタスピードと絞り値とで被写体が露光される。
【0046】
ステップS252で顔の輪郭が抽出された場合にはステップS254に進んで抽出された人物の顔部分の明るさを測定する。ステップS255では測定された顔部分の明るさが所定値より明るかったならばステップS253に進み、暗かったならばステップS256に進む。ステップS256では前述した図6ステップS203の場合と同様に検出した顔の大きさあるいは眼幅とそのときのズームレンズ位置に基づいて抽出した人物までの距離を演算する。ステップS257では人物までの距離がストロボの適正露光可能範囲内であるかどうか判別する。もし適正露光可能範囲内であったならばステップS258に進み撮影前に赤目軽減のためのプリ発光をするように設定し、ステップS259で抽出した人物の顔が適正露光となるように演算した距離を基にストロボの発光量を設定する。これにより、CPU112は実際の撮影時に、AE演算部1121によって演算されたシャッタスピードと絞り値とに設定するよう制御する。これにより人物を除いた画面全体が適正露光状態で撮影される。一方、周辺より暗い状態になっている人物に対しては距離に基づいて設定された発光光量でストロボを発光するよう制御する。これにより人物に対しても適正な露光状態で撮影することが出来る。この機能は逆光撮影時に特に効果的である。ストロボ本発光の前にはステップS258の設定に基づいて赤目軽減用のプリ発光をするようCPU112が制御する。このプリ発光は複数回行うようにしても良い。ステップS257で適正露光可能範囲外であった場合にはステップS259に進んで人物が適正露光しない旨警告表示する(不図示)。
【0047】
ステップS251で被写体が暗かった場合にはステップS261に進んでここでも撮影画面中に人物としての顔の輪郭が抽出されたかどうか判別する。もし顔の輪郭が抽出された場合にはステップS262に進んでステップS256の場合と同様に抽出された人物までの距離を演算する。ステップS263では人物までの距離がストロボの適正露光可能範囲内であるかどうか判別する。もし適正露光可能範囲外だった場合にはステップS260に進み人物が適正露光外である旨の警告表示する。適正露光可能範囲内だった場合にはステップS264に進み撮影前にストロボをプリ発光するように設定する。このプリ発光の役割はここではステップS258で述べた赤目軽減用以外に更に、プリ発光による人物からの反射光に基づいて実際の撮影時のストロボ発光量を決定するためのものである。ステップS265ではプリ発光の際の顔部分からの反射光に基づいて撮影時のストロボの発光量を決定するように設定する。ここでも前と場合と同様、プリ発光は複数回行っても良く、更に赤目軽減用プリ発光と反射光測定用プリ発光とで分けても良い。ステップS260で人物が抽出されなかった場合にはステップS266に進んで被写体輝度をAE演算した結果に基づいてストロボの発光光量を設定する。ステップS258やステップS264で赤目軽減用にストロボをプリ発光するよう設定する代わりに撮影後に撮影した瞳を検出して赤目部分をソフト的に補正する設定にしても良い。
【0048】
《撮影》
図10、図11、図20、図21を使用して通常とは異なる2種類の撮影方法のシーケンスについて説明する。図10は全押しSW1163を1回押すと自動的にAFエリアから得られる焦点評価値の複数のピーク位置でそれぞれ撮影する様に構成されたシーケンスである。これにより各ピーク位置に対応した被写体毎に合焦した複数の画像データを得ることができる。ステップS301で半押しSW1162がオンされたことを検出するとステップS302でCPU112はフォーカスレンズを至近から無限まで移動させ評価値を演算し評価値のピークを検出する。ステップS303ではピークが複数あるかどうか判別する。もしピークが一つしかない場合にはステップS306に進み、ピークが複数検出された場合にはステップS304に進む。ステップS304では特徴点抽出演算部1123によって人物が抽出されたかどうか判別する。ここで人物が抽出された場合にはこれまでと同様に抽出した眼幅とズームレンズ位置から抽出された人物迄の距離を演算してその演算して得られた人物までの距離が複数のピークのどれに対応するか判別する。ステップS305では最至近にいる人物位置を最初の撮影位置として選択しCPU112はフォーカスレンズを最至近人物位置を示しているピーク位置に駆動する。ステップS303でピーク位置が一つしかなかった場合にはステップS306で検出したピーク位置(この場合この位置が最至近ピーク位置となる)を選択する。ステップS304でピークが複数検出されて且つ人物が検出されなかった場合にもステップS306に進んで最至近位置を撮影位置として選択する。
【0049】
ステップS307では全押しSW1163がオンされたかどうか判別する。もしオンされていなかったならばステップS313に進み、オンされたならばステップS308に進む。ステップS308では前述したステップS305あるいはステップS306で選択されたピーク位置で露光し、露光終了後蓄積した画像データを読み出す。ステップS309では他の人物位置に相当するピーク位置の有無を判別する。もし他の人物位置に相当するピーク位置が有ったならばステップS308に戻ってその位置で2度目の露光をした後に蓄積した画像データを読み出す。他に人物位置に相当するピーク位置がなかったならばステップS311に進み最至近ピーク位置での露光が終了しているかどうか判別する。もし最至近ピーク位置での露光が終了していなかったならばステップS312に進み、最至近位置で引き続き露光する。最至近位置での露光が終了していたならば本シーケンスを終了する。ステップS307で全押しSW1163が押されていなかったならばステップS313に進む。ステップS313では半押しSW1162が押されているかどうか判別する。もし半押しSW1162が押されていたならばステップS307に戻り全押しSW1163が押されるまでフォーカスをロックする。ステップS313で半押しSW1162が押されていなかったなら本シーケンスを終了する。
【0050】
図20、21を使って実際の撮影例を説明する。図20は撮影画面内に人物とそれより手前に花が配置されていた場合である。通常のAF撮影では最至近優先で合焦するのでこの場合には手前の花に対してピントのあった画像が1枚だけ撮影される。図21はこの場合のフォーカスレンズ位置に対応した評価値変化を示している。ここでは画面全体をAFエリアとした場合の評価値変化を示している。この場合は焦点評価値に二つのピーク(P1、P2)が検出される。通常のAFではP1とP2の大きさには関係なく或る程度以上の大きさであったならば最至近のピークであるP2が選択される。この様に単に被写体のコントラストを検出しているだけではP1に相当する位置x1と、P2に相当する位置x2のどちらに人物がいるのか判定することが出来ない。これに対して人物の顔の大きさあるいは眼幅から人物までの距離を演算することによって位置x1が人物によるピークであると判断することが出来る。それ故、最至近位置x2と人物位置x1との都合2回撮影することでそれぞれにピントのあった画像データを得ることが出来る。あるいは人物ピーク位置でのみ撮影するようにして最至近ピークが人物以外のピークであった場合には撮影しないようにしても良い。この時、前述した撮影画角の設定の場合と同様、優先撮影人物を予めカメラに設定しておいてその人物に対応するピークで1回だけ撮影するようにしても良い。
【0051】
これによりたとえ複数の人物がAEエリア内にいたとしても確実に所望の人物に対してピントが合った画像を得ることが出来る。人物が複数いた場合には全ての人物について撮影するのでなく、一定の評価値以上のピークに対応する人物位置で撮影するようにしても良い。あるいは最大連続撮影枚数を設定できるようにしても良い。前述したように特徴点を基に演算した特徴点までの距離は正確な距離ではないのでこのようにコントラスト法において複数ピークがあった場合などに補助的に人物位置ピークを判定するのに使用することで正確に合焦させることが出来る。
【0052】
次に図11を基に目を閉じた状態で撮影されることを防ぐ方法について説明する。ステップS321で全押しSW1163が押されたならばステップS322で全押しスイッチが押される前の画像データから特徴点抽出演算部1123により被写体の瞳を検出する。ここで被写体が目を閉じていて瞳が検出されないと判断されたならばステップS323で被写体の瞳が検出されるまで実際の露光を遅延させステップS322に戻る。瞳が検出されたならばステップS324で実際に露光を行い、ステップS325で露光した画像データを読み出す。ステップS326では読み出した画像データから直ちに特徴点抽出演算部1123で瞳を再度検出する。この時瞳が検出されなかったならばステップS327でブザー123でもって警告しステップS322に戻って瞳が検出されたことを確認して直ちに再露光する。ステップS326で瞳が検出されたならば本シーケンスを終了する。このように撮影前に被写体が目を開けていることを確認するとともに、撮影後も目を閉じて撮影されてしまったかどうかを直ちに確認している。これによりもし目を閉じて撮影された場合には直ちに再度撮影することが出来る。あるいは再度撮影する変わりに目を閉じて撮影された場合には撮影後にその部分のみソフト的に補正してやっても良い。補正方法としては撮影後にモニタで被写体の動画を撮影していた際の被写体の開いている目を抽出してこれを閉じている目と置き換えてやればよい。
【0053】
この図11の説明では撮影後に目を閉じていたことを検出して再撮影するようにしていたが、ほかにも撮影した被写体の不具合を検出して再度撮影することで最良の画像を得るようにすることが出来る。例えば、撮影時に被写体が動いてしまった場合には再生画像からブレを検出することで判別することが出来る。あるいは、集合写真で顔が隠れてしまったりした場合には撮影前の顔の数と撮影後の顔の数とを比較したり、あるいは顔の輪郭の抽出が不充分であるような場合にも再度撮影するように設定することも可能である。さらにステップS327の警告においてもブザーでもって警告するだけでなく音声で例えば“目を閉じて撮影されました。”、“ブレて撮影されました。”、“顔が隠れている人がいます。”等具体的に不具合を警告するようにしても良い。
【0054】
《記録処理》
図12を基に特徴点抽出に伴う記録時の処理について説明する。ステップS401ではまず特徴点抽出演算部1123によって人物の顔の輪郭が抽出されたかどうか判別する。もし抽出されなかったならば予め設定されている色再現用あるいは輪郭強調用パラメータを使用した記録処理を行う。抽出されたならばステップS402に進んで抽出された顔の数を判別する。顔の数が所定値以下だったならばステップS406に進み、所定値以上だったならばステップS403に進む。ここで所定値とは3〜4程度の値が適している。顔の数が3〜4個よりも多く抽出された場合には集合写真を撮影していると判断してステップS403でデジタル信号処理回路106において色再現用のパラメータを肌色を重視したパラメータを使用するようにする。ステップS404では更に、顔の特定部位を検出しステップS405で特定部位近傍以外の顔の部分の輪郭強調を弱めるように処理する。特定部位とは例えば眼、鼻、口、耳、髪、眉毛等である。これによりこれら特定部位近傍以外の部分では周波数特性にローパスフィルタがかけられるので頬や額等にあるしわ、ほくろ、シミ等を目立たなくすることが出来る。ステップS402で顔の数が所定値以下だった場合にはステップS406に進んで顔の大きさを判別する。もし顔が複数検出されていたなら最大の大きさの顔で判別する。顔の面積が所定値より大きかった場合にはポートレート撮影と判断して肌色を重視した処理を行うステップS403に進む。顔の面積が所定値より小さかったならば風景を含めた記念撮影と判断し、通常の記録処理を行う。
【0055】
この様にステップS403では顔部分に対してのみ肌色重視処理をしているのでなく、画像データ全体に対して通常の色パラメータの代わりに肌色を重視したパラメータを選択して処理を施している。これは肌色以外の部分においてはこの様に肌色を重視したパラメータを採用した処理を施したとしても、元もと肌色成分が少ないので肌色重視処置をした際の影響が少ないからである。これによりわざわざ顔部分を抜き出してそこに対してのみ肌色重視処理するといった複雑な処理が不要となる。
【0056】
ここまでの説明において、ステップS405で施した処理とは逆に抽出された眼、鼻、口、耳、髪、眉毛およびその近傍部分に対して輪郭強調を強めに施すことによりくっきりとした顔を表現することもできる。また、あまり小さな顔に対して輪郭強調を施しても効果は小さいので或る程度大きな顔に対してのみ輪郭強調を施すようにしても良い。またこれらステップS403の肌色処理とステップS405の輪郭強調処理は何れかのみを選択可能としても良い。この肌色処理あるいは輪郭強調処理のパラメータをそれぞれ複数備えていて、これらから適宜選択をして肌色の程度あるいは輪郭強調の程度を最良の状態とすることも容易である。これ以外にも、年齢や男女の性別を判断して老人や女性の場合には色相以外に彩度や輝度を上げるためのパラメータを選択するようにしてもよい。あるいは、特定の人種に最適な色バランスをそのまま他の人種に適用すると不自然な肌色が再生されてしまうので人種に応じて肌の色を緩和するような色パラメータを選択するのも効果的である。このためには、顔や手足、耳、鼻等の骨格形状、瞳や顔の色、唇形状、着衣、髪型等から判断して人種を判別すれば良い。更に、ここまでの説明においてはこれらの処理を記録前に行うようにしていたが、これを再生時に行っても良い。すなわち、図14で説明した画像ファイルに、前述した特徴点情報と特徴点データ以外に各個人毎の特有の情報やホワイトバランス処理情報や輪郭強調処理情報も同時に記録しておくことで再生時に最適な処理を施すことが出来る。
【図面の簡単な説明】
【図1】本発明によるデジタルカメラの構成を示すブロック図である。
【図2】本発明によるデジタルカメラの動作シーケンスを説明するフローチャートである。
【図3】本発明によるデジタルカメラの動作シーケンスを説明するフローチャートである。
【図4】特徴点情報を登録する時のシーケンスを説明するフローチャートである。
【図5】撮影画角を設定する時のシーケンスを説明するフローチャートである。
【図6】撮影条件を設定する時のシーケンスを説明するフローチャートである。
【図7】他の撮影条件を設定する時のシーケンスを説明するフローチャートである。
【図8】他の撮影条件を設定する時のシーケンスを説明するフローチャートである。
【図9】ストロボの発光量を設定する時のシーケンスを説明するフローチャートである。
【図10】撮影シーケンスを説明するフローチャートである。
【図11】他の撮影シーケンスを説明するフローチャートである。
【図12】記録処理シーケンスを説明するフローチャートである。
【図13】特徴点と特徴点情報の記録状態を説明する図である。
【図14】画像データとそこに付加されている特徴点情報の記録状態を説明する図である。
【図15】抽出した特徴点に対してそれぞれ区別してマーカ表示している表示例である。
【図16】AFエリアあるいはAEエリアの設定を示す表示例である。
【図17】AFエリアあるいはAEエリアの他の設定を示す表示例である。
【図18】AFエリアあるいはAEエリアの他の設定を示す表示例である。
【図19】AFエリアあるいはAEエリアの他の設定を示す表示例である。
【図20】AFエリアの設定を示す表示例である。
【図21】図20の被写体の位置関係を説明する図である。
【図22】レンズの焦点距離と眼幅から人物までの距離を求める説明図である。
【符号の説明】
101 撮影レンズ
102 絞り
103 撮像素子
104 アナログ信号処理部
105 バッファメモリ
106 デジタル信号処理部
108 D/Aコンバータ
109 LCDモニタ
110 記録・再生信号処理部
111 外部記憶媒体
112 CPU
113 レンズ駆動部
114 絞り駆動部
115 撮像素子駆動部
116 操作部材
120 インタフェース
121 レンズ位置検出部
122 ストロボ
123 発音体
135 A/Dコンバータ
1121 AE演算部
1122 AWB演算部
1124 バンドパスフィルタ
1125 加算部
1126 AF演算部
1127 記憶部
1161 電源スイッチ
1162 半押しスイッチ
1163 全押しスイッチ
1164 設定釦
1165 アップ/ダウン釦[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a digital camera that identifies feature points of a person and operates according to the identification result.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, there are many known techniques for identifying a person from image data, including a system for authenticating a person by registering feature points of a fingerprint or an iris in advance and collating the feature points with the feature points. Japanese Patent Application Laid-Open No. 9-251534 describes in detail a method of extracting eyes, nose, mouth, and the like, registering the points as feature points, and comparing the extracted points with feature points extracted from an input image to identify the person. Japanese Patent Laid-Open Publication No. Hei 10-232934 discloses a method of increasing the accuracy of a dictionary image when registering feature points extracted in this manner. Examples of applying these technologies to cameras are described below.
[0003]
Japanese Patent Laying-Open No. 5-37940 discloses a video camera that extracts a flesh-colored part of a person and uses a slightly wider range as a distance measurement area. At this time, if a plurality of persons are detected, priority is given to a person near the center of the screen or to a person having a large area. Japanese Patent Application Laid-Open No. 2001-215403 discloses an imaging device that detects eyes based on recognized face information and obtains focus information in accordance with the eyes. At this time, if a plurality of eyes are detected, the closest eye is selected. Alternatively, the
[0004]
[Problems to be solved by the invention]
In the above-described conventional invention, the feature points of the face are mainly extracted, and the largest face or the face with the highest priority is automatically set as the main subject. However, when the user wants to select and set the main subject, it cannot cope. . Further, the subject distance is not calculated using the extracted subject information itself.
[0005]
In the present invention, it is possible to determine the size of the extracted feature point, set an optimum AF area according to the determination result, and calculate the distance to the subject based on the feature point. The purpose is to provide a digital camera.
[0006]
[Means to solve the problem]
In order to solve the above problem, the invention according to
[0007]
According to a second aspect of the present invention, when the determination unit determines that the size of the face is larger than a predetermined value, the setting unit sets the face portion specified from the size of the face as the AF area. It is characterized by. 4. The method according to
[0008]
According to a seventh aspect of the present invention, there is provided a photographing lens including a zoom lens and a focus lens for photographing a subject, a detecting unit for detecting the zoom lens position, and a characteristic portion based on image data photographed through the photographing lens. Extracting means for extracting information related to the characteristic part; calculating a distance to the subject based on the information related to the characteristic part extracted by the extracting means and the zoom lens position detected by the detecting means. And a calculating means. That is, the distance to the subject is calculated from the extracted characteristic part information and the zoom lens position. The invention according to claim 8 is characterized in that the information related to the characteristic portion is at least one of a face size or an interpupillary distance. According to a ninth aspect of the present invention, the image processing apparatus further includes limiting means for limiting a moving range of the focus lens to a predetermined range based on the distance to the subject calculated by the calculating means. By limiting the movement range of the focus lens in this way, it is possible to increase the speed of the AF operation, and to prevent the subject from being pulled by a subject having a large contrast in the background. I can do it. The invention according to claim 10, further comprising a diaphragm means for controlling the amount of light incident on the imaging means, and a distance to each of the plurality of faces calculated by the calculating means when the extracting means extracts a plurality of faces. Aperture value determining means for determining an aperture value of the aperture means such that a predetermined face of the plurality of faces is focused on the basis of the plurality of faces. That is, a predetermined face can be brought within the depth of focus of the photographing lens by changing the aperture value according to the calculated distance to each face.
[0009]
An invention according to
Instructing means for instructing start of photographing, continuous photographing mode setting means for continuously photographing based on one photographing instruction of the instructing means, and setting the continuous photographing mode by the continuous photographing mode setting means, Calculating means for calculating a distance to the subject based on information on a difference in size of the subject specified from the characteristic portion when performing continuous shooting based on a shooting instruction by the means. I have. Thus, in the continuous shooting, since only the difference information from the first frame is used for the second and subsequent frames, the distance to the continuously moving subject can be detected at high speed. A twelfth aspect of the present invention is characterized in that the subject size difference information is at least one of the subject's eye width or face size difference information extracted by the extracting means.
[0010]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram illustrating major functions of the digital camera of the present invention.
[0011]
The photographing
[0012]
The taking
[0013]
The A / D-converted signal is subjected to various image processing such as contour enhancement and gamma correction in a digital
[0014]
The
[0015]
A / L = a / f
From this, the distance L to the person is L = (A / a) · f. The
[0016]
The band-pass filter (BPF) 1124 extracts a high-frequency component in a predetermined band based on an image signal in a focus detection area provided in an image area. The output of the BPF 1124 is input to the next
[0017]
An
[0018]
When the subject luminance is low, the
[0019]
The
[0020]
The contrast method of the AF control method used in this camera will be described. In this method, there is a correlation between the degree of blur of an image and the contrast, and focusing is performed using the fact that the contrast of the image is maximized when there is a focus. The magnitude of the contrast can be evaluated based on the magnitude of the high frequency component of the imaging signal. That is, a high-frequency component of the image signal is extracted by the BPF 1124, and an integrated value of the absolute value of the high-frequency component by the evaluation
[0021]
2 and 3 show the overall operation flow of a digital camera having a face recognition function. In FIG. 2, first, when it is detected in step S101 that the power of the digital camera is turned on by the power switch 1161, the operation mode of the digital camera is confirmed in step S102. Here, it is determined whether the setting button S1164 has been set to the shooting mode for shooting the subject or the playback mode for playing back and displaying the image data recorded on the memory card. If the mode is set to the reproduction mode, the process proceeds to step S117 in FIG. 3, and if the mode is set to the shooting mode, the process proceeds to step S103. In step S103, the subject image to be captured is displayed on the
[0022]
In step S106, it is determined whether or not any of the plurality of extracted feature points matches a feature point registered in the
[0023]
Further, when personal name information such as a personal name corresponding to a feature point is also registered as feature point information at the same time, it is also displayed as shown in FIG. Thereby, the confirmation of the subject can be further ensured. Further, in this embodiment, the priority order when selecting an AE area or AF area described later is also registered as the feature point information. FIG. 13 shows an example of a recording state regarding a feature point in the
[0024]
As described above, by registering a plurality of feature points as the same person based on the presence or absence of glasses, beards, and the like, the accuracy of identifying a person with respect to the extracted feature points is improved. The contents of this feature can also be displayed on the
[0025]
Steps S109 to S114 show steps for performing specific processing according to the extracted feature points. Of course, even when a feature point is detected, which of these steps is adopted can be arbitrarily selected using the setting button 1164. Hereinafter, a case in which all the steps are set to be selected will be described. In step S109, the displayed extraction result is registered. The registration in step S109 will be described in detail with reference to FIG. When the registration is completed, the process proceeds to the step of setting the shooting angle of view in step S110. By performing the setting in step S110, even when there are a plurality of persons in the shooting screen, the target subject can be automatically determined, and the persons can be zoomed up and captured in the center of the screen. This function is effective when shooting at your child's athletic meet or recital. Details of step S110 will be described with reference to FIG. In step S111, shooting conditions are set. Here, when there are a plurality of persons in the shooting screen, a predetermined area including a desired person is set as an AF area or an AE area, and aperture setting is performed according to the size and number of persons. Details of step S111 will be described with reference to FIGS. In step S112, the flash is set. Details of step S112 will be described with reference to FIG. Steps S109 to S112 up to this point are the settings before shooting, and the setting order can be arbitrarily changed according to the shooting screen, and the contents once set in each step can be reset.
[0026]
In step S113, the subject is photographed. Here, a person is detected to automatically set the number of shots, or actual exposure is performed according to an operation at the time of shooting a person. This photographing step will be described in detail with reference to FIGS. After the photographing is completed, a recording process is performed in step S114. Here, a process of detecting the face of the subject and changing the white balance and automatically reducing spots and moles on the face are performed. Details of step S114 will be described with reference to FIG. In step S115, the processed image data and feature point information are recorded as one file on a memory card. In step S116, it is determined whether the power is off. If it has not been turned off, the process returns to step S102 to determine the operation mode of the digital camera. If the power switch has been turned off, this sequence ends.
[0027]
If the reproduction mode has been set in step S102, the image data recorded in the
[0028]
In step S123, it is determined whether or not the extracted feature point or the added feature point matches any of the feature points registered in the
[0029]
《Registration of feature point information》
The step of registering feature point information will be described with reference to FIG. The registration step in FIG. 4 is common to step 109 in FIG. 2 and step S126 in FIG. If the image data is captured image data, in step S151, it is determined whether the same feature point as the feature point extracted by the feature point
[0030]
If the feature points of the captured image data or the feature points added to the reproduced image data and the feature point information have been registered in the
[0031]
If the feature point and the feature point information have not been registered in step S151, the process proceeds to step S153. Here, the extracted feature points and feature point information to be registered are displayed on the
[0032]
If another feature point has not been selected, the flow advances to step S157 to determine the operation mode of the digital camera. If the photographing mode has been set, the registration step ends. This registration operation is performed each time the display screen is changed by changing the subject or the like. If the operation mode of the camera is the playback mode, the process proceeds to step S158. Here, it is determined whether or not the card recording execution display is selected by the setting button 1164 (not shown). When the recording instruction is selected, the changed or newly added feature point or feature point information is added to the original image and recorded on the memory card. If not selected, the main registration step ends without updating the additional information.
[0033]
《Shooting angle of view》
The setting of the shooting angle of view in step S110 in FIG. 2 will be described with reference to FIG. This is a suitable setting sequence when, for example, the user wants to photograph his / her child C at the athletic meet. First, in step S171, a person to be photographed (for example, C-chan) is selected from the feature point information stored in the
[0034]
If a face is detected in step S172, a marker is superimposed and displayed on the extracted face of the person as shown in FIG. 15 in step S176. Looking at this display screen, the user confirms whether or not a preset face of the person is in the shooting screen. If not, the user can move the screen to easily capture the desired person in the screen. In step S177, it is determined whether the set person on the screen is equal to or larger than a predetermined size. If the size is equal to or larger than the predetermined size, this step is ended. If the size is equal to or smaller than the predetermined size, the process proceeds to step S178. In step S178, the
[0035]
In step S179, it is determined whether or not the size of the set face of the person has become equal to or larger than a predetermined size. If not, the process returns to step S177 to continue driving the zoom lens and the VR lens. If the maximum zoom position has been reached in step S180, the flow advances to step S181 to issue a warning. This warning is displayed on the LCD monitor 109 (not shown), and the
[0036]
<< Setting of shooting conditions >>
The setting of the photographing conditions in step S111 in FIG. 2 will be described with reference to FIGS. FIG. 6 is a flowchart for setting an optimum depth of focus by changing the aperture value according to the distance to each of the subjects when a plurality of subjects are extracted. In step S201, it is determined whether or not a contour or an eye of a person's face has been detected. If neither is detected, the process proceeds to step S208, where it is determined that a distant view such as a landscape is to be taken, and the process proceeds to step S208 to set a large aperture value to increase the depth of focus. If the face outline or the eyes are detected in step S201, the process proceeds to step S202. In step S202, the zoom lens position (focal length) at that time is detected by the
[0037]
When the distance calculation is completed for all the extracted persons, the process proceeds to step S205, and the number of extracted persons is determined. If it is determined in step S205 that the number of persons is equal to or more than the predetermined value, it is determined that the photograph is a group photograph, and the flow advances to step S208 to increase the depth of focus and increase the aperture value so that all persons are in focus. Set. Specifically, based on the distance to each person detected in step S203, an optimum depth of focus for focusing on all the persons is obtained, and an aperture value corresponding thereto is set. If it is determined in step S205 that the number of persons is equal to or less than the predetermined value, the process proceeds to step S206, where the size of each face is determined. If it is determined that the size of the face is equal to or larger than the predetermined size, the process proceeds to step S207, in which it is determined that portrait shooting is to be performed, and the aperture value is reduced to set the depth of focus to be shallow. If it is determined in step S206 that the size of the face is equal to or smaller than the predetermined size, it is determined that the photograph is a commemorative photograph including scenery, and the flow advances to step S208 to increase the aperture value to increase the depth of focus. Here, the predetermined number is set in advance to about 3 or 4 persons.
[0038]
In this way, if the user has previously set the shooting mode to a landscape shooting mode and a person is detected in the shooting screen, a portrait shooting with a shallow depth suitable for shooting a person is automatically performed. You can shoot in the mode for use. Conversely, if no person is detected when the mode is set to portrait shooting, the mode can be automatically changed to the mode for scenery shooting with a large depth, and shooting can be performed. In the method of calculating the distance to the subject described here, the size of the face and the interpupillary distance differ for adults and children, and there are individual differences between adults and children. Therefore, it is only an approximate distance obtained from the average face size and eye width of an adult or child. The accurate focus position is determined based on the peak position by the above-described contrast method.
[0039]
Next, setting of the AF area or the AE area will be described with reference to FIGS. 7, 16, 17, and 18. FIG. In FIG. 7, the setting of the AF area is described, but the setting of the AE area is completely the same. In step S221 in FIG. 7, it is first determined whether or not a person is within a predetermined range in the shooting screen. Here, as a method of determining the presence or absence of a person, the determination is made based on whether or not the outline of the face has been extracted. If there is no person, the process proceeds to step S222, and a fixed area such as a preset central portion is set as an AF area. This is because, even if a person is extracted, if the person is located near the corner of the screen, the photographer determines that the photographer is not trying to focus on the person and eliminates this. FIG. 16 shows an example of a shooting screen in this case. In the figure, the person indicated by the thick wavy line is outside the range shown by the thin wavy line in the screen. In this case, the AF area is set in the thick solid line frame at the center of the screen. When multi-point distance measurement is possible, this AF area can be set at a position other than the center of the screen.
[0040]
If a person is extracted within the predetermined range of the screen in step S221, the process proceeds to step S223, and it is determined whether or not the number of faces of the extracted person is plural. If not, the process proceeds to step S228; otherwise, the process proceeds to step S224. In step S224, the largest face among the extracted faces is selected, set as the AF area, and displayed as the AF area. FIG. 17 shows a display example of the shooting screen in this case. Here, it is shown that the largest face portion displayed by the extracted solid line is set as the AF area. In step S225, it is determined whether a person position other than the automatically set AF area is set in the AF area. If the photographer operates the setting button 1164 to select any of the other persons displayed in wavy lines, the AF area is sequentially moved according to the operation. In this case, the order of selection is such that if a person has the above-mentioned priority order stored, the person is selected according to the priority order, but is selected in the order of the size of the extracted face. May be. If the selection is completed in step S227, the flow advances to step S228 to determine whether or not the size of the extracted face area is equal to or larger than a first predetermined value. If the value is equal to or smaller than the first predetermined value, the process proceeds to step S229 to set the AF area to a predetermined size (for example, a first predetermined value) including the extracted face inside. This is because if the area of the extracted face is too small, the accuracy in the AF calculation described above deteriorates. FIG. 18 shows a display example in this case.
[0041]
If the area of the face extracted in step S228 is equal to or larger than the first predetermined value, the process proceeds to step S230, where it is determined whether the area is equal to or larger than the second predetermined value. If the value is equal to or larger than the second predetermined value, it is determined that the portrait shooting is being performed, and the process proceeds to step S231 to set the position of the extracted eyes in the AF area instead of setting the entire face in the AF area. FIG. 19 shows a display example in this case. If the value is equal to or smaller than the second predetermined value, the process proceeds to step S232, and the area of the face extracted earlier is set as the AF area. Here, the first and second predetermined values are set in advance to optimal values after photographing various objects.
[0042]
In the description so far, in step S224, the largest face is selected first, but this is displayed first with the person with the highest registration priority or the priority photographing person described in the section of setting the photographing angle of view. You may do it. Alternatively, the distance to the person may be calculated simultaneously with the extraction of the face, and the person at the shortest distance may be selected in order. Also, for the above-mentioned priority photographing person, the movement range of the focus lens is limited based on the calculated distance so that it can move only a predetermined range before and after the calculated distance, so that the AF operation on the person can be performed in the background. It is possible to reduce the influence. Further, the AF following operation for this priority photographing person is reliably and quickly performed. In addition, when the continuous shooting mode is set for sports shooting or the like, the shooting distance for the first frame is determined based on the evaluation value peak by the contrast method. It is also possible to detect the difference (change amount) between the previous shot and the outline of the person or face or the frame before the eye width and calculate the distance to the subject together with the zoom lens position at that time. It is. By doing so, it is possible to realize AF control that can quickly follow a subject change.
[0043]
The sequence of setting the AF area up to this point can be applied to the setting of the AE area in the same manner as described above. Of course, also in this case, the first predetermined value and the second predetermined value described above are optimally determined in advance by an experiment similarly to the case of the AF area.
[0044]
Next, the change of the photographing mode will be described with reference to FIG. In step S241, it is determined whether the photographing mode is set to a person photographing mode suitable for photographing a person. In this person photographing mode, as an example, in order to blur the background, the aperture is set to a value close to open, the white balance is set to emphasize the skin color, and the distance measurement mode is set to the AF mode. If the portrait mode has been set, the process proceeds to step S242, in which it is determined whether a person has been extracted. If not extracted, the process proceeds to step S243, a warning is issued by a buzzer, a monitor, or the like, and in step S244, the mode is changed to a landscape photographing mode suitable for distant photographing, and the sequence ends. In the case of this mode for landscape photography, the aperture is set to a large value in order to increase the depth of focus, and in the distance measurement mode, the focus lens is driven to a fixed position that focuses on an infinite position according to the depth of focus. The white balance may be set to be used during normal shooting, or may be set to emphasize the green and blue sky of trees in daytime shooting. If a person is detected in step S242, this step ends. If the person photographing mode has not been set in step S241, the process proceeds to step S245, where it is determined whether a person has been detected. If not detected, the present sequence is terminated. If detected, the process proceeds to step S246 to warn the user with a buzzer or a monitor. In step S247, the mode is changed to a portrait photographing mode and the present sequence is terminated.
[0045]
《Strobe setting》
A method of setting the amount of light emission of the strobe will be described with reference to FIG. In step S251, it is determined whether or not the subject brightness measured by the AE operation circuit 1121 for the subject in the predetermined AE area is larger than a predetermined value. Here, the subject is not limited to a person. If the subject is a dark subject whose brightness is smaller than the predetermined value, the process proceeds to step S261. If the subject is brighter than the predetermined value and the subject is bright, the process proceeds to step S252. In step S252, it is determined whether or not a person has been extracted from the shooting screen. Here, the person is also determined based on whether or not the outline of the face has been extracted. If the face outline has not been extracted, the flow advances to step S253 to set the strobe to non-emission. At the time of shooting, the
[0046]
If the face outline has been extracted in step S252, the process proceeds to step S254 to measure the brightness of the extracted human face. In step S255, if the measured brightness of the face portion is brighter than a predetermined value, the process proceeds to step S253, and if it is dark, the process proceeds to step S256. In step S256, the distance to the extracted person is calculated based on the detected face size or eye width and the zoom lens position at that time, as in the case of step S203 in FIG. 6 described above. In step S257, it is determined whether or not the distance to the person is within the proper exposure range of the strobe. If the exposure is within the proper exposure range, the flow advances to step S258 to set pre-emission for red-eye reduction before photographing, and the distance calculated in step S259 so that the person's face extracted in step S259 has proper exposure. Set the amount of flash light based on. Accordingly, the
[0047]
If the subject is dark in step S251, the flow advances to step S261 to determine whether or not the outline of the face as a person has been extracted in the shooting screen. If the outline of the face has been extracted, the process proceeds to step S262, and the distance to the extracted person is calculated in the same manner as in step S256. In step S263, it is determined whether or not the distance to the person is within the proper exposure range of the strobe. If the exposure is out of the proper exposure range, the process proceeds to step S260 to display a warning that the person is out of the proper exposure. If the exposure is within the proper exposure range, the flow advances to step S264 to set the flash to pre-emit light before photographing. In this case, the role of the pre-emission is to determine the amount of strobe light emission at the time of actual photographing based on the reflected light from the person due to the pre-emission in addition to the red-eye reduction described in step S258. In step S265, a setting is made so that the flash emission amount at the time of shooting is determined based on the reflected light from the face portion at the time of the pre-flash. Here, as in the previous case, the pre-emission may be performed a plurality of times, and the pre-emission for red-eye reduction and the pre-emission for reflected light measurement may be separated. If no person is extracted in step S260, the flow advances to step S266 to set the amount of light emitted from the strobe based on the result of subjecting the subject brightness to AE. Instead of setting the pre-flash emission for red-eye reduction in steps S258 and S264, a setting may be made in which the pupil photographed after photographing is detected and the red-eye portion is corrected by software.
[0048]
"photograph"
The sequences of two types of imaging methods different from the normal ones will be described with reference to FIGS. 10, 11, 20, and 21. FIG. 10 shows a sequence configured so that when the full-
[0049]
In step S307, it is determined whether the full-
[0050]
An actual photographing example will be described with reference to FIGS. FIG. 20 shows a case where a person and a flower are arranged in front of the person in the shooting screen. In normal AF photography, focusing is performed with the closest priority, so in this case, only one image is focused on the flower in front. FIG. 21 shows an evaluation value change corresponding to the focus lens position in this case. Here, the evaluation value change when the entire screen is set as the AF area is shown. In this case, two peaks (P1, P2) are detected in the focus evaluation value. In normal AF, if the size is a certain level or more regardless of the size of P1 and P2, the closest peak P2 is selected. As described above, it is not possible to determine which of the position x1 corresponding to P1 and the position x2 corresponding to P2 exists by simply detecting the contrast of the subject. On the other hand, by calculating the distance to the person from the size or eye width of the person's face, the position x1 can be determined to be the peak of the person. Therefore, by photographing twice at the closest position x2 and at the person position x1, it is possible to obtain in-focus image data. Alternatively, the image may be taken only at the person peak position, and the image may not be taken when the closest peak is a peak other than the person. At this time, as in the case of the setting of the photographing angle of view described above, the priority photographing person may be set in the camera in advance, and the photographing may be performed only once at the peak corresponding to the person.
[0051]
Thereby, even if a plurality of persons are in the AE area, an image in which a desired person is in focus can be reliably obtained. When there are a plurality of persons, the photographing may not be performed for all persons but may be performed at a person position corresponding to a peak having a certain evaluation value or more. Alternatively, the maximum number of consecutive shots may be set. As described above, since the distance to the feature point calculated based on the feature point is not an accurate distance, it is used to assist the determination of the person position peak when there are a plurality of peaks in the contrast method. This makes it possible to focus accurately.
[0052]
Next, a method for preventing an image from being photographed with the eyes closed will be described with reference to FIG. If the full-
[0053]
In the description of FIG. 11, it is detected that the eyes are closed after the photographing, and the photographing is performed again. However, it is possible to obtain the best image by detecting the defect of the photographed subject and photographing again. It can be. For example, if the subject has moved during shooting, it can be determined by detecting blurring from the reproduced image. Alternatively, if the face is hidden in the group photo, compare the number of faces before shooting with the number of faces after shooting, or if the face contour extraction is insufficient. It is also possible to set to shoot again. Further, in the warning in step S327, not only a buzzer is used to warn the user, but also voices such as "the image was taken with your eyes closed", "the image was taken with blurring", and "some people have hidden faces.""Or the like may be specifically warned of a defect.
[0054]
《Recording process》
The process at the time of recording accompanying the feature point extraction will be described with reference to FIG. In step S401, first, it is determined whether or not the outline of the face of the person has been extracted by the feature point
[0055]
As described above, in step S403, the skin color emphasis processing is not performed only on the face portion, but the parameter emphasizing the skin color is selected and processed on the entire image data instead of the normal color parameters. This is because, even in a portion other than the flesh color, even if the process using the parameter that emphasizes the flesh color is performed, since the flesh color component is originally small, the influence of the flesh color emphasis treatment is small. This eliminates the need for a complicated process of extracting a face part and performing a skin color emphasis processing only on the face part.
[0056]
In the description so far, in contrast to the processing performed in step S405, a sharp face is obtained by strongly enhancing the contours of the extracted eyes, nose, mouth, ears, hair, eyebrows and the vicinity thereof. It can also be expressed. Further, since the effect is small even if the contour emphasis is performed on a very small face, the contour emphasis may be performed only on a certain large face. Further, only one of the flesh color processing in step S403 and the contour enhancement processing in step S405 may be selectable. A plurality of parameters for the skin color processing or the contour enhancement processing are provided, and it is easy to appropriately select from these parameters to make the degree of the skin color or the degree of contour enhancement the best. In addition, in the case of an elderly person or a woman, a parameter for increasing the saturation or the luminance other than the hue may be selected by judging the age or the sex of the gender. Alternatively, if the optimal color balance for a specific race is applied to other races as it is, an unnatural skin color will be reproduced, so it is also possible to select a color parameter that reduces the skin color according to the race. It is effective. For this purpose, the race may be determined by judging from the skeleton shape of the face, limbs, ears, nose, etc., the color of the pupil and face, the lip shape, clothing, hairstyle, and the like. Furthermore, in the description so far, these processes are performed before recording, but may be performed during reproduction. That is, in addition to the above-described feature point information and feature point data, information unique to each individual, white balance processing information, and contour enhancement processing information are simultaneously recorded in the image file described with reference to FIG. Processing can be performed.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of a digital camera according to the present invention.
FIG. 2 is a flowchart illustrating an operation sequence of the digital camera according to the present invention.
FIG. 3 is a flowchart illustrating an operation sequence of the digital camera according to the present invention.
FIG. 4 is a flowchart illustrating a sequence when registering feature point information.
FIG. 5 is a flowchart illustrating a sequence when setting a shooting angle of view.
FIG. 6 is a flowchart illustrating a sequence when setting photographing conditions.
FIG. 7 is a flowchart illustrating a sequence when setting other photographing conditions.
FIG. 8 is a flowchart illustrating a sequence when setting other photographing conditions.
FIG. 9 is a flowchart illustrating a sequence when setting the flash emission amount.
FIG. 10 is a flowchart illustrating an imaging sequence.
FIG. 11 is a flowchart illustrating another photographing sequence.
FIG. 12 is a flowchart illustrating a recording processing sequence.
FIG. 13 is a diagram for describing a recording state of feature points and feature point information.
FIG. 14 is a diagram illustrating a recording state of image data and feature point information added thereto.
FIG. 15 is a display example in which markers are displayed for each of the extracted feature points separately.
FIG. 16 is a display example showing setting of an AF area or an AE area.
FIG. 17 is a display example showing another setting of the AF area or the AE area.
FIG. 18 is a display example showing another setting of the AF area or the AE area.
FIG. 19 is a display example showing another setting of the AF area or the AE area.
FIG. 20 is a display example showing setting of an AF area.
FIG. 21 is a diagram illustrating the positional relationship between subjects in FIG. 20;
FIG. 22 is an explanatory diagram for calculating a distance to a person from a focal length of a lens and an interpupillary distance.
[Explanation of symbols]
101 Shooting lens
102 Aperture
103 Image sensor
104 analog signal processing unit
105 buffer memory
106 digital signal processing unit
108 D / A converter
109 LCD monitor
110 Recording / playback signal processing unit
111 External storage medium
112 CPU
113 Lens drive unit
114 Aperture drive unit
115 Image sensor driver
116 operation members
120 interface
121 lens position detector
122 Strobe
123 Pronunciation
135 A / D converter
1121 AE operation unit
1122 AWB operation unit
1124 Bandpass filter
1125 Adder
1126 AF operation unit
1127 Storage unit
1161 Power switch
1162 Half-press switch
1163 Full-press switch
1164 Setting button
1165 up / down button
Claims (12)
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003109883A JP2004317699A (en) | 2003-04-15 | 2003-04-15 | Digital camera |
US10/814,142 US20040207743A1 (en) | 2003-04-15 | 2004-04-01 | Digital camera system |
EP04252199A EP1471455B1 (en) | 2003-04-15 | 2004-04-15 | Digital camera |
DE602004030390T DE602004030390D1 (en) | 2003-04-15 | 2004-04-15 | digital camera |
US12/289,689 US20090066815A1 (en) | 2003-04-15 | 2008-10-31 | Digital camera system |
US13/067,502 US20110242363A1 (en) | 2003-04-15 | 2011-06-06 | Digital camera system |
US13/964,648 US9147106B2 (en) | 2003-04-15 | 2013-08-12 | Digital camera system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003109883A JP2004317699A (en) | 2003-04-15 | 2003-04-15 | Digital camera |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004317699A true JP2004317699A (en) | 2004-11-11 |
Family
ID=33470887
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003109883A Pending JP2004317699A (en) | 2003-04-15 | 2003-04-15 | Digital camera |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004317699A (en) |
Cited By (76)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005128156A (en) * | 2003-10-22 | 2005-05-19 | Canon Inc | Focusing device and method |
JP2006201282A (en) * | 2005-01-18 | 2006-08-03 | Nikon Corp | Digital camera |
JP2006243373A (en) * | 2005-03-03 | 2006-09-14 | Matsushita Electric Ind Co Ltd | Video signal processor, imaging apparatus mounted with the same, and method and program for processing video signal |
JP2006245646A (en) * | 2005-02-28 | 2006-09-14 | Fuji Photo Film Co Ltd | Image reproducing apparatus, image reproducing program, photomovie creating apparatus and photomovie creating program |
JP2006301172A (en) * | 2005-04-19 | 2006-11-02 | Canon Inc | Imaging apparatus and method for controling imaging apparatus |
JP2007003785A (en) * | 2005-06-23 | 2007-01-11 | Pentax Corp | Photographing device having autofocus function |
JP2007065290A (en) * | 2005-08-31 | 2007-03-15 | Nikon Corp | Automatic focusing device |
JP2007074394A (en) * | 2005-09-07 | 2007-03-22 | Canon Inc | Image pickup device and control method of same |
JP2007248698A (en) * | 2006-03-15 | 2007-09-27 | Fujifilm Corp | Method and apparatus for imaging |
JP2007264049A (en) * | 2006-03-27 | 2007-10-11 | Fujifilm Corp | Imaging method and apparatus |
JP2007279333A (en) * | 2006-04-06 | 2007-10-25 | Fujifilm Corp | Device and method for deciding focusing position |
JP2007282119A (en) * | 2006-04-11 | 2007-10-25 | Nikon Corp | Electronic camera and image processing apparatus |
JP2007282118A (en) * | 2006-04-11 | 2007-10-25 | Nikon Corp | Electronic camera and image processing apparatus |
JP2007281593A (en) * | 2006-04-03 | 2007-10-25 | Olympus Imaging Corp | Camera |
JP2007286255A (en) * | 2006-04-14 | 2007-11-01 | Nikon Corp | Camera |
JP2008022240A (en) * | 2006-07-12 | 2008-01-31 | Fujifilm Corp | Photographing device, image processor, image file generating method, image processing method, and image processing program |
JP2008042616A (en) * | 2006-08-08 | 2008-02-21 | Eastman Kodak Co | Imaging apparatus |
JP2008052225A (en) * | 2006-08-28 | 2008-03-06 | Olympus Imaging Corp | Camera, focus control method, and program |
JP2008145782A (en) * | 2006-12-11 | 2008-06-26 | Pentax Corp | Camera provided with focusing device |
JP2008151910A (en) * | 2006-12-15 | 2008-07-03 | Canon Inc | Imaging apparatus |
KR100850466B1 (en) | 2006-10-03 | 2008-08-07 | 삼성테크윈 주식회사 | Apparatus for photography and method for controlling auto focus thereof |
JP2008216763A (en) * | 2007-03-06 | 2008-09-18 | Canon Inc | Auto-focus adjustment apparatus and imaging apparatus |
JP2008271082A (en) * | 2007-04-19 | 2008-11-06 | Casio Comput Co Ltd | Apparatus for recording images with sound data, and program |
JP2008282031A (en) * | 2008-06-23 | 2008-11-20 | Sony Corp | Imaging apparatus and imaging apparatus control method, and computer program |
JP2008281701A (en) * | 2007-05-09 | 2008-11-20 | Canon Inc | Focus adjusting device, imaging apparatus and focus adjusting method |
JP2009038749A (en) * | 2007-08-03 | 2009-02-19 | Canon Inc | Image processor, control method of image processor, and program for implementing the same |
JP2009038750A (en) * | 2007-08-03 | 2009-02-19 | Canon Inc | Image processing apparatus, method, and program |
JP2009049646A (en) * | 2007-08-17 | 2009-03-05 | Fujifilm Corp | Imaging device, display method of through-image, and recording method for photographed image |
JP2009049480A (en) * | 2007-08-13 | 2009-03-05 | Mitsubishi Electric Corp | Image pickup device and image processing method |
EP2037320A1 (en) | 2007-09-14 | 2009-03-18 | Sony Corporation | Imaging apparatus, imaging apparatus control method, and computer program |
JP2009069748A (en) * | 2007-09-18 | 2009-04-02 | Fujifilm Corp | Imaging apparatus and its automatic focusing method |
JP2009098317A (en) * | 2007-10-16 | 2009-05-07 | Nec Electronics Corp | Autofocus control circuit, autofocus control method and image pickup apparatus |
JP2009115905A (en) * | 2007-11-02 | 2009-05-28 | Fujifilm Corp | Imaging apparatus and method |
JP2009133903A (en) * | 2007-11-28 | 2009-06-18 | Fujifilm Corp | Imaging apparatus and imaging method |
JP2009139688A (en) * | 2007-12-07 | 2009-06-25 | Nikon Corp | Focus adjustment device and camera |
JP2009239923A (en) * | 2006-07-25 | 2009-10-15 | Fujifilm Corp | Imaging device |
JP2010039284A (en) * | 2008-08-06 | 2010-02-18 | Canon Inc | Image pick-up apparatus and control method therefor |
US7672580B2 (en) | 2005-03-17 | 2010-03-02 | Canon Kabushiki Kaisha | Imaging apparatus and method for controlling display device |
JP2010054587A (en) * | 2008-08-26 | 2010-03-11 | Nikon Corp | Focal point detector and camera |
EP1845711A3 (en) * | 2006-04-11 | 2010-03-24 | Nikon Corporation | Electronic camera and image processing apparatus |
JP2010072045A (en) * | 2008-09-16 | 2010-04-02 | Canon Inc | Imaging apparatus and control method |
JP2010072599A (en) * | 2008-09-22 | 2010-04-02 | Canon Inc | Automatic focusing device and automatic focusing method |
JP2010104061A (en) * | 2010-02-05 | 2010-05-06 | Nikon Corp | Electronic camera and image processing apparatus |
JP2010122358A (en) * | 2008-11-18 | 2010-06-03 | Nec Electronics Corp | Autofocus device, autofocus method, and imaging apparatus |
US7747159B2 (en) | 2007-02-09 | 2010-06-29 | Canon Kabushiki Kaisha | Focusing device and image-capturing device provided with the same |
US7756408B2 (en) | 2006-03-03 | 2010-07-13 | Fujifilm Corporation | Focus control amount determination apparatus, method, and imaging apparatus |
US7764321B2 (en) | 2006-03-30 | 2010-07-27 | Fujifilm Corporation | Distance measuring apparatus and method |
US7826639B2 (en) | 2006-01-31 | 2010-11-02 | Canon Kabushiki Kaisha | Method for displaying an identified region together with an image, program executable in a computer apparatus, and imaging apparatus |
JP2010282107A (en) * | 2009-06-08 | 2010-12-16 | Canon Inc | Imaging apparatus and control method therefor |
US7860386B2 (en) | 2006-06-09 | 2010-12-28 | Sony Corporation | Imaging apparatus, control method of imaging apparatus, and computer program |
JP2011027847A (en) * | 2009-07-22 | 2011-02-10 | Fujifilm Corp | Af frame automatic tracking system |
WO2011018975A1 (en) | 2009-08-13 | 2011-02-17 | ソニー株式会社 | Image capturing device and method |
JP2011508268A (en) * | 2007-12-27 | 2011-03-10 | クゥアルコム・インコーポレイテッド | Method and apparatus with depth map generation |
US7929042B2 (en) | 2006-09-22 | 2011-04-19 | Sony Corporation | Imaging apparatus, control method of imaging apparatus, and computer program |
US8004599B2 (en) | 2007-05-18 | 2011-08-23 | Fujifilm Corporation | Automatic focus adjusting apparatus and automatic focus adjusting method, and image pickup apparatus and image pickup method |
US8059186B2 (en) | 2006-12-19 | 2011-11-15 | Hoya Corporation | Camera having a focus adjusting system and a face recognition function |
JP2012013838A (en) * | 2010-06-30 | 2012-01-19 | Canon Inc | Imaging device and control method thereof |
US8102465B2 (en) | 2006-11-07 | 2012-01-24 | Fujifilm Corporation | Photographing apparatus and photographing method for photographing an image by controlling light irradiation on a subject |
US8169530B2 (en) | 2007-06-19 | 2012-05-01 | Pentax Ricoh Imaging Company | Camera having an autofocusing system |
EP2450848A1 (en) | 2010-11-04 | 2012-05-09 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
JP2012123301A (en) * | 2010-12-10 | 2012-06-28 | Olympus Imaging Corp | Imaging apparatus |
US8300112B2 (en) | 2006-07-03 | 2012-10-30 | Canon Kabushiki Kaisha | Image processing apparatus and control method therefor |
US8306277B2 (en) | 2005-07-27 | 2012-11-06 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method, and computer program for causing computer to execute control method of image processing apparatus |
US8350954B2 (en) | 2009-07-13 | 2013-01-08 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method with deconvolution processing for image blur correction |
JP2013080248A (en) * | 2012-12-13 | 2013-05-02 | Canon Inc | Imaging apparatus and control method for the same |
US8520130B2 (en) | 2010-08-20 | 2013-08-27 | Canon Kabushiki Kaisha | Image capturing apparatus and auto-focus control method thereof |
JP2013175994A (en) * | 2012-02-27 | 2013-09-05 | Xacti Corp | Electronic camera |
KR101411908B1 (en) | 2007-10-29 | 2014-07-02 | 삼성전자주식회사 | Method of controlling digital image processing apparatus performing face recognition, and image processing apparatus adopting the method |
KR101474303B1 (en) * | 2008-04-21 | 2014-12-18 | 삼성전자주식회사 | Digital photographing apparatus, method for controlling the same, and recording medium storing program to implement the method |
JP2015022058A (en) * | 2013-07-17 | 2015-02-02 | キヤノン株式会社 | Focus detection unit and image capturing device |
DE102014119150A1 (en) | 2013-12-27 | 2015-07-02 | Canon Kabushiki Kaisha | Image pickup device and control method for this |
JP2015186210A (en) * | 2014-03-26 | 2015-10-22 | キヤノン株式会社 | Imaging apparatus, control method of imaging apparatus, and program |
US9201288B2 (en) | 2009-05-12 | 2015-12-01 | Canon Kabushiki Kaisha | Image processing apparatus with blur correcting function |
JP2016118799A (en) * | 2016-02-08 | 2016-06-30 | オリンパス株式会社 | Imaging device |
JP2017108303A (en) * | 2015-12-10 | 2017-06-15 | キヤノン株式会社 | Image processing system, imaging apparatus and image processing program |
JP2020067534A (en) * | 2018-10-23 | 2020-04-30 | パナソニックIpマネジメント株式会社 | Imaging apparatus |
-
2003
- 2003-04-15 JP JP2003109883A patent/JP2004317699A/en active Pending
Cited By (98)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005128156A (en) * | 2003-10-22 | 2005-05-19 | Canon Inc | Focusing device and method |
JP4553346B2 (en) * | 2003-10-22 | 2010-09-29 | キヤノン株式会社 | Focus adjustment device and focus adjustment method |
JP2006201282A (en) * | 2005-01-18 | 2006-08-03 | Nikon Corp | Digital camera |
JP4674471B2 (en) * | 2005-01-18 | 2011-04-20 | 株式会社ニコン | Digital camera |
JP4593314B2 (en) * | 2005-02-28 | 2010-12-08 | 富士フイルム株式会社 | Image reproduction apparatus, program and method, and photo movie creation apparatus, program and method |
JP2006245646A (en) * | 2005-02-28 | 2006-09-14 | Fuji Photo Film Co Ltd | Image reproducing apparatus, image reproducing program, photomovie creating apparatus and photomovie creating program |
JP2006243373A (en) * | 2005-03-03 | 2006-09-14 | Matsushita Electric Ind Co Ltd | Video signal processor, imaging apparatus mounted with the same, and method and program for processing video signal |
US7672580B2 (en) | 2005-03-17 | 2010-03-02 | Canon Kabushiki Kaisha | Imaging apparatus and method for controlling display device |
JP2006301172A (en) * | 2005-04-19 | 2006-11-02 | Canon Inc | Imaging apparatus and method for controling imaging apparatus |
JP2007003785A (en) * | 2005-06-23 | 2007-01-11 | Pentax Corp | Photographing device having autofocus function |
US8908906B2 (en) | 2005-07-27 | 2014-12-09 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method, and computer program for causing computer to execute control method of image processing apparatus |
US8306277B2 (en) | 2005-07-27 | 2012-11-06 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method, and computer program for causing computer to execute control method of image processing apparatus |
JP2007065290A (en) * | 2005-08-31 | 2007-03-15 | Nikon Corp | Automatic focusing device |
JP2007074394A (en) * | 2005-09-07 | 2007-03-22 | Canon Inc | Image pickup device and control method of same |
EP2448249A2 (en) | 2006-01-31 | 2012-05-02 | Canon Kabushiki Kaisha | Method for displaying an identified region together with an image, and imaging apparatus |
US7826639B2 (en) | 2006-01-31 | 2010-11-02 | Canon Kabushiki Kaisha | Method for displaying an identified region together with an image, program executable in a computer apparatus, and imaging apparatus |
EP2448250A2 (en) | 2006-01-31 | 2012-05-02 | Canon Kabushiki Kaisha | Method for displaying an identified region together with an image, and imaging apparatus |
US7756408B2 (en) | 2006-03-03 | 2010-07-13 | Fujifilm Corporation | Focus control amount determination apparatus, method, and imaging apparatus |
JP2007248698A (en) * | 2006-03-15 | 2007-09-27 | Fujifilm Corp | Method and apparatus for imaging |
JP2007264049A (en) * | 2006-03-27 | 2007-10-11 | Fujifilm Corp | Imaging method and apparatus |
JP4657960B2 (en) * | 2006-03-27 | 2011-03-23 | 富士フイルム株式会社 | Imaging method and apparatus |
US7764321B2 (en) | 2006-03-30 | 2010-07-27 | Fujifilm Corporation | Distance measuring apparatus and method |
JP2007281593A (en) * | 2006-04-03 | 2007-10-25 | Olympus Imaging Corp | Camera |
JP4701122B2 (en) * | 2006-04-03 | 2011-06-15 | オリンパスイメージング株式会社 | camera |
JP2007279333A (en) * | 2006-04-06 | 2007-10-25 | Fujifilm Corp | Device and method for deciding focusing position |
US9485415B2 (en) | 2006-04-11 | 2016-11-01 | Nikon Corporation | Electronic camera and image processing apparatus |
US8306280B2 (en) | 2006-04-11 | 2012-11-06 | Nikon Corporation | Electronic camera and image processing apparatus |
JP2007282119A (en) * | 2006-04-11 | 2007-10-25 | Nikon Corp | Electronic camera and image processing apparatus |
JP2007282118A (en) * | 2006-04-11 | 2007-10-25 | Nikon Corp | Electronic camera and image processing apparatus |
EP1845711A3 (en) * | 2006-04-11 | 2010-03-24 | Nikon Corporation | Electronic camera and image processing apparatus |
JP2007286255A (en) * | 2006-04-14 | 2007-11-01 | Nikon Corp | Camera |
EP1845412A3 (en) * | 2006-04-14 | 2011-08-03 | Nikon Corporation | Camera |
US7860386B2 (en) | 2006-06-09 | 2010-12-28 | Sony Corporation | Imaging apparatus, control method of imaging apparatus, and computer program |
US8300112B2 (en) | 2006-07-03 | 2012-10-30 | Canon Kabushiki Kaisha | Image processing apparatus and control method therefor |
JP2008022240A (en) * | 2006-07-12 | 2008-01-31 | Fujifilm Corp | Photographing device, image processor, image file generating method, image processing method, and image processing program |
JP2009239923A (en) * | 2006-07-25 | 2009-10-15 | Fujifilm Corp | Imaging device |
JP2008042616A (en) * | 2006-08-08 | 2008-02-21 | Eastman Kodak Co | Imaging apparatus |
JP2008052225A (en) * | 2006-08-28 | 2008-03-06 | Olympus Imaging Corp | Camera, focus control method, and program |
US7929042B2 (en) | 2006-09-22 | 2011-04-19 | Sony Corporation | Imaging apparatus, control method of imaging apparatus, and computer program |
KR100850466B1 (en) | 2006-10-03 | 2008-08-07 | 삼성테크윈 주식회사 | Apparatus for photography and method for controlling auto focus thereof |
US8102465B2 (en) | 2006-11-07 | 2012-01-24 | Fujifilm Corporation | Photographing apparatus and photographing method for photographing an image by controlling light irradiation on a subject |
JP2008145782A (en) * | 2006-12-11 | 2008-06-26 | Pentax Corp | Camera provided with focusing device |
JP2008151910A (en) * | 2006-12-15 | 2008-07-03 | Canon Inc | Imaging apparatus |
US8194175B2 (en) | 2006-12-15 | 2012-06-05 | Canon Kabushiki Kaisha | Image pickup apparatus focusing on an object to be focused in continuous shooting mode |
US8059186B2 (en) | 2006-12-19 | 2011-11-15 | Hoya Corporation | Camera having a focus adjusting system and a face recognition function |
US7747159B2 (en) | 2007-02-09 | 2010-06-29 | Canon Kabushiki Kaisha | Focusing device and image-capturing device provided with the same |
JP2008216763A (en) * | 2007-03-06 | 2008-09-18 | Canon Inc | Auto-focus adjustment apparatus and imaging apparatus |
JP2008271082A (en) * | 2007-04-19 | 2008-11-06 | Casio Comput Co Ltd | Apparatus for recording images with sound data, and program |
JP2008281701A (en) * | 2007-05-09 | 2008-11-20 | Canon Inc | Focus adjusting device, imaging apparatus and focus adjusting method |
US8004599B2 (en) | 2007-05-18 | 2011-08-23 | Fujifilm Corporation | Automatic focus adjusting apparatus and automatic focus adjusting method, and image pickup apparatus and image pickup method |
US8169530B2 (en) | 2007-06-19 | 2012-05-01 | Pentax Ricoh Imaging Company | Camera having an autofocusing system |
JP2009038749A (en) * | 2007-08-03 | 2009-02-19 | Canon Inc | Image processor, control method of image processor, and program for implementing the same |
JP2009038750A (en) * | 2007-08-03 | 2009-02-19 | Canon Inc | Image processing apparatus, method, and program |
JP2009049480A (en) * | 2007-08-13 | 2009-03-05 | Mitsubishi Electric Corp | Image pickup device and image processing method |
JP2009049646A (en) * | 2007-08-17 | 2009-03-05 | Fujifilm Corp | Imaging device, display method of through-image, and recording method for photographed image |
EP2037320A1 (en) | 2007-09-14 | 2009-03-18 | Sony Corporation | Imaging apparatus, imaging apparatus control method, and computer program |
US8068164B2 (en) | 2007-09-14 | 2011-11-29 | Sony Corporation | Face recognition auto focus apparatus for a moving image |
JP2009069748A (en) * | 2007-09-18 | 2009-04-02 | Fujifilm Corp | Imaging apparatus and its automatic focusing method |
KR101008864B1 (en) * | 2007-10-16 | 2011-01-17 | 르네사스 일렉트로닉스 가부시키가이샤 | Autofocus control circuit, autofocus control method and image pickup apparatus |
JP2009098317A (en) * | 2007-10-16 | 2009-05-07 | Nec Electronics Corp | Autofocus control circuit, autofocus control method and image pickup apparatus |
KR101411908B1 (en) | 2007-10-29 | 2014-07-02 | 삼성전자주식회사 | Method of controlling digital image processing apparatus performing face recognition, and image processing apparatus adopting the method |
JP2009115905A (en) * | 2007-11-02 | 2009-05-28 | Fujifilm Corp | Imaging apparatus and method |
JP2009133903A (en) * | 2007-11-28 | 2009-06-18 | Fujifilm Corp | Imaging apparatus and imaging method |
JP2009139688A (en) * | 2007-12-07 | 2009-06-25 | Nikon Corp | Focus adjustment device and camera |
US8233077B2 (en) | 2007-12-27 | 2012-07-31 | Qualcomm Incorporated | Method and apparatus with depth map generation |
JP2011508268A (en) * | 2007-12-27 | 2011-03-10 | クゥアルコム・インコーポレイテッド | Method and apparatus with depth map generation |
KR101474303B1 (en) * | 2008-04-21 | 2014-12-18 | 삼성전자주식회사 | Digital photographing apparatus, method for controlling the same, and recording medium storing program to implement the method |
JP2008282031A (en) * | 2008-06-23 | 2008-11-20 | Sony Corp | Imaging apparatus and imaging apparatus control method, and computer program |
JP2010039284A (en) * | 2008-08-06 | 2010-02-18 | Canon Inc | Image pick-up apparatus and control method therefor |
US8189090B2 (en) | 2008-08-06 | 2012-05-29 | Canon Kabushiki Kaisha | Image pick-up apparatus and control method therefor |
JP2010054587A (en) * | 2008-08-26 | 2010-03-11 | Nikon Corp | Focal point detector and camera |
JP2010072045A (en) * | 2008-09-16 | 2010-04-02 | Canon Inc | Imaging apparatus and control method |
USRE45900E1 (en) | 2008-09-16 | 2016-02-23 | Canon Kabushiki Kaisha | Imaging apparatus and control method |
US8195042B2 (en) | 2008-09-16 | 2012-06-05 | Canon Kabushiki Kaisha | Imaging apparatus and control method |
JP2010072599A (en) * | 2008-09-22 | 2010-04-02 | Canon Inc | Automatic focusing device and automatic focusing method |
JP2010122358A (en) * | 2008-11-18 | 2010-06-03 | Nec Electronics Corp | Autofocus device, autofocus method, and imaging apparatus |
US9201288B2 (en) | 2009-05-12 | 2015-12-01 | Canon Kabushiki Kaisha | Image processing apparatus with blur correcting function |
US9591246B2 (en) | 2009-05-12 | 2017-03-07 | Canon Kabushiki Kaisha | Image pickup apparatus with blur correcting function |
EP3110135A1 (en) | 2009-05-12 | 2016-12-28 | Canon Kabushiki Kaisha | Image pickup apparatus |
JP2010282107A (en) * | 2009-06-08 | 2010-12-16 | Canon Inc | Imaging apparatus and control method therefor |
US8350954B2 (en) | 2009-07-13 | 2013-01-08 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method with deconvolution processing for image blur correction |
JP2011027847A (en) * | 2009-07-22 | 2011-02-10 | Fujifilm Corp | Af frame automatic tracking system |
WO2011018975A1 (en) | 2009-08-13 | 2011-02-17 | ソニー株式会社 | Image capturing device and method |
JP2010104061A (en) * | 2010-02-05 | 2010-05-06 | Nikon Corp | Electronic camera and image processing apparatus |
JP2012013838A (en) * | 2010-06-30 | 2012-01-19 | Canon Inc | Imaging device and control method thereof |
US8520130B2 (en) | 2010-08-20 | 2013-08-27 | Canon Kabushiki Kaisha | Image capturing apparatus and auto-focus control method thereof |
EP3285229A1 (en) | 2010-11-04 | 2018-02-21 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
EP2450848A1 (en) | 2010-11-04 | 2012-05-09 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
JP2012123301A (en) * | 2010-12-10 | 2012-06-28 | Olympus Imaging Corp | Imaging apparatus |
JP2013175994A (en) * | 2012-02-27 | 2013-09-05 | Xacti Corp | Electronic camera |
JP2013080248A (en) * | 2012-12-13 | 2013-05-02 | Canon Inc | Imaging apparatus and control method for the same |
JP2015022058A (en) * | 2013-07-17 | 2015-02-02 | キヤノン株式会社 | Focus detection unit and image capturing device |
US9420162B2 (en) | 2013-12-27 | 2016-08-16 | Canon Kabushiki Kaisha | Image capturing apparatus and control method thereof |
DE102014119150A1 (en) | 2013-12-27 | 2015-07-02 | Canon Kabushiki Kaisha | Image pickup device and control method for this |
JP2015186210A (en) * | 2014-03-26 | 2015-10-22 | キヤノン株式会社 | Imaging apparatus, control method of imaging apparatus, and program |
JP2017108303A (en) * | 2015-12-10 | 2017-06-15 | キヤノン株式会社 | Image processing system, imaging apparatus and image processing program |
JP2016118799A (en) * | 2016-02-08 | 2016-06-30 | オリンパス株式会社 | Imaging device |
JP2020067534A (en) * | 2018-10-23 | 2020-04-30 | パナソニックIpマネジメント株式会社 | Imaging apparatus |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4196714B2 (en) | Digital camera | |
JP2004317699A (en) | Digital camera | |
JP2004320286A (en) | Digital camera | |
EP1471455B1 (en) | Digital camera | |
EP1522952B1 (en) | Digital camera | |
JP5055166B2 (en) | Eye open / closed degree determination device, method and program, and imaging device | |
JP4182117B2 (en) | IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
KR101539043B1 (en) | Image photography apparatus and method for proposing composition based person | |
JP4078334B2 (en) | Image processing apparatus and image processing method | |
JP2004320285A (en) | Digital camera | |
US20060034602A1 (en) | Image capture apparatus and control method therefor | |
JP2008035415A (en) | Imaging device and method for controlling the same | |
JP2000350123A (en) | Picture selection device, camera, picture selection method and recording medium | |
TW201102938A (en) | Image capturing apparatus, face area detecting method and program recording medium | |
JP5171468B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
JP2004320284A (en) | Digital camera | |
JP6033006B2 (en) | Image processing apparatus, control method thereof, control program, and imaging apparatus | |
JP5383308B2 (en) | Image processing device | |
JP2003289468A (en) | Imaging apparatus | |
JP2006074498A (en) | Image processor and imaging apparatus | |
JP4254467B2 (en) | Digital camera | |
JP2007067934A (en) | Imaging apparatus and its control method | |
WO2021205979A1 (en) | Imaging device, method for controlling imaging device, and program | |
JP4306399B2 (en) | Digital camera | |
JP2008167028A (en) | Imaging apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060301 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20060412 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080529 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081216 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090216 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090317 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090518 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090609 |