JP6019692B2 - 撮像素子、撮像素子の制御方法、および、撮像装置 - Google Patents

Description

本技術は、撮像素子、撮像素子の制御方法、および、撮像装置に関する。詳しくは、位相差を検出するための画素を含む撮像素子、撮像素子の制御方法、および、撮像装置に関する。

従来、撮像装置においては、焦点検出のための一手法として位相差検出方式が知られている。この位相差検出方式は、１対の受光素子により出力された信号の位相差から焦点を検出する方式である。この位相差検出用の受光素子に光を導くミラーを備えない撮像装置においては、位相差を検出するための画素（以下、「位相差画素」と称する。）が、それ以外の画素（以下、「通常画素」と称する。）とともに受光面に配置されることがある。このような撮像装置において、画像を撮像するとともに位相差を検出する場合、通常、全画素の画素値を読み出してから、それらの画素値において位相差画素の画素値を補間してデモザイク処理などの画像処理が行われる。また、読み出した全画素の画素値から位相差画素の画素値を分離することにより位相差の検出が行われる。

このような位相差画素および通常画素が配置された撮像装置においては、撮像開始から画像処理および位相差検出処理の終了までの時間が短いほど、画像の表示や合焦のレスポンスが向上する。そこで、画像処理および位相差検出処理の終了までの時間を短縮するために、例えば、画素値の読出しにおいて、３ラインのうち１ラインのみを読み出すなど、ラインを間引いて読出しを行う制御方法が提案されている（例えば、特許文献１参照。）。

特開２０１１−１０１３２５号公報

しかし、上述の従来技術では、撮像開始から、画像処理や位相差検出処理の終了までの時間を十分に短縮できないおそれがある。ラインを間引いて位相差検出処理および画像処理を行う場合においても、撮像装置は、画像処理に不要な位相差画素も読み出す必要があるため、不要な位相差画素を読み出す時間の分、画像処理の開始が遅れてしまう。また、撮像装置は、位相差検出に不要な通常画素も読み出す必要があるため、通常画素を読み出す時間の分、位相差検出の開始が遅れてしまう。このため、撮像開始から、画像処理や位相差検出処理までの時間が十分に短くならないという問題がある。

本技術はこのような状況に鑑みて生み出されたものであり、撮像装置において、撮像開始から、画像処理または位相差検出処理の終了までの時間を短縮することを目的とする。

本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、位相差を検出するための位相差画素を含む複数の画素が配列された複数の位相差ラインと、上記位相差画素を含まない複数の通常画素が配列された複数の通常ラインと、第１の期間内に上記複数の位相差ラインおよび上記複数の通常ラインの各々を選択し、上記第１の期間と異なる第２の期間内に上記複数の位相差ラインの各々を選択する行走査部と、上記第１の期間内に選択されたラインの各々において上記複数の通常画素の画素値を出力し、上記第２の期間内に選択されたラインの各々において上記位相差画素の画素値を出力する列走査部とを具備する撮像素子、および、その制御方法である。これにより、第１の期間内に選択されたラインの各々において複数の通常画素の画素値が出力され、第２の期間内に選択されたラインの各々において位相差画素の画素値が出力されるという作用をもたらす。

また、この第１の側面において、上記第１の期間内に選択されたラインの各々において上記複数の通常画素の各々を同時に駆動し、上記第２の期間内に選択されたラインの各々において上記位相差画素の各々を同時に駆動する駆動部と、上記駆動された通常画素または上記駆動された位相差画素の画素値の各々を保持する画素値保持部とをさらに具備し、上記列走査部は、上記保持された画素値の各々を所定の順番で出力してもよい。これにより、選択されたラインの各々において複数の通常画素または位相差画素の各々が同時に駆動し、駆動された位相差画素の画素値の各々が保持され、保持された画素値の各々が所定の順番で出力されるという作用をもたらす。

また、この第１の側面において、上記列走査部は、上記第１の期間内に上記複数の位相差ラインのいずれかが選択された場合には上記位相差画素の位置に対応する順番において画素の画素値として出力されることのない固定値をさらに出力してもよい。これにより、第１の期間内に複数の位相差ラインのいずれかが選択された場合には位相差画素の位置に対応する順番において固定値がさらに出力されるという作用をもたらす。

また、この第１の側面において、上記第１の期間内に選択されたラインの各々において所定の位置関係にある複数の画素に上記位相差画素が含まれる場合には上記通常画素の画素値と上記固定値とを加算し、上記所定の位置関係にある複数の画素に上記位相差画素が含まれない場合には上記複数の画素の画素値を加算する画素加算部をさらに具備し、上記列走査部は、上記第１の期間内に選択されたラインの各々において上記加算された値を出力してもよい。これにより、第１の期間内に選択されたラインの各々において加算された値が出力されるという作用をもたらす。

また、この第１の側面において、前記複数の位相差画素の各々は、瞳分割された一対の光を受光するための一対の位相差画素を含み、前記行走査部は、前記第２の期間において前記位相差ラインの各々を選択する走査処理を２回実行し、前記列走査部は、前記第２の期間内の１回目の走査処理で選択されたラインの各々において前記一対の位相差画素のうちの一方の画素値を出力し、前記第２の期間内の２回目の走査処理で選択されたラインの各々において前記一対の位相差画素のうちの他方の画素値を出力してもよい。これにより、１回目の走査処理で一対の位相差画素のうちの一方の画素値が出力され、２回目の走査処理で他方の画素値が出力されるという作用をもたらす。

また、本技術の第２の側面は、位相差を検出するための位相差画素を含む複数の画素が配列された複数の位相差ラインと、上記位相差画素を含まない複数の通常画素が配列された複数の通常ラインと、第１の期間内に上記複数の位相差ラインおよび上記複数の通常ラインの各々を選択し、上記第１の期間と異なる第２の期間内に上記複数の位相差ラインの各々を選択する行走査部と、上記第１の期間内に選択されたラインの各々において上記複数の通常画素の画素値を出力し、上記第２の期間内に選択されたラインの各々において上記位相差画素の画素値を出力する列走査部とを具備する撮像素子と、上記出力された上記複数の通常画素の画素値から画像を生成する画像処理部と、上記出力された位相差画素の画素値に基づいて位相差を検出する位相差検出部とを具備する撮像装置である。

本技術によれば、撮像装置において、撮像開始から、画像処理または位相差検出処理の終了までの時間が短縮されるという優れた効果を奏し得る。

第１の実施の形態における撮像装置の一構成例を示すブロック図である。 第１の実施の形態における撮像素子の一構成例を示すブロック図である。 第１の実施の形態における撮像素子の動作の一例を示す図である。 第１の実施の形態における画素の配置の一例を示す図である。 第１の実施の形態における行走査回路の一構成例を示すブロック図である。 第１の実施の形態における転送信号生成回路の一構成例を示すブロック図である。 第１の実施の形態における通常画素の一構成例を示す回路図である。 第１の実施の形態における列走査回路の一構成例を示すブロック図である。 第１の実施の形態における画像処理部の一構成例を示すブロック図である。 第１の実施の形態における通常画素出力期間内の撮像素子の動作の一例を示すタイミングチャートである。 第１の実施の形態における位相差画素出力期間内の撮像素子の動作の一例を示すタイミングチャートである。 第１の実施の形態における撮像装置の動作の一例を示すタイミングチャートである。 第２の実施の形態における撮像素子の一構成例を示すブロック図である。 第２の実施の形態における固定値挿入部の一構成例を示すブロック図である。 第２の実施の形態における列走査回路の一構成例を示すブロック図である。 第２の実施の形態における画像処理部の一構成例を示すブロック図である。 第２の実施の形態における画素加算が行われない場合の通常画素出力期間内の撮像素子の動作の一例を示すタイミングチャートである。 第２の実施の形態における画素加算が行われる場合の通常画素出力期間内の撮像素子の動作の一例を示すタイミングチャートである。 第２の実施の形態における位相差画素出力期間内の撮像素子の動作の一例を示すタイミングチャートである。 第３の実施の形態における撮像素子の一構成例を示すブロック図である。 第３の実施の形態における位相差画素出力期間内の撮像素子の動作の一例を示すタイミングチャートである。 第３の実施の形態における撮像装置の動作の一例を示すタイミングチャートである。

以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（通常画素の画素値を出力し、位相差画素の画素値を出力する例）
２．第２の実施の形態（通常画素の画素値と固定値とを出力し、画素加算を行う例）
３．第３の実施の形態（左側画素の画素値を出力し、右側画素の画素値を出力する例）

＜１．第１の実施の形態＞
［撮像装置の構成例］
図１は、本技術の第１の実施の形態における撮像装置１００の一構成例を示すブロック図である。この撮像装置１００は、画像を撮像する装置であり、カメラ制御部１１０、撮影レンズ１２０、画像処理部１３０、位相差検出部１４０、表示処理部１５０、表示部１６０、画像出力部１７０、画像記録制御部１８０および画像記録部１９０を備える。また、撮像装置１００は、さらに撮像素子２００を備える。

カメラ制御部１１０は、撮像装置１００全体を制御するものである。このカメラ制御部１１０は、ユーザの操作に従って、信号線１１９を介して撮像素子２００へ制御信号を出力して画像を撮像させる。例えば、制御信号には、ライブビューモードであるかキャプチャーモードであるかを示す信号が含まれる。ライブビューモードは、画像を一定の間隔で（例えば、１／３０秒ごと）撮像して表示部１６０に表示するためのモードである。一方、キャプチャーモードは、動画、または、静止画を撮像して記録するためのモードである。動画には、一定の間隔で撮像された複数の画像が含まれる。ライブビューモードにおいて撮像される画像は、キャプチャーモードにおいて撮像される画像よりも低解像度に設定される。また、カメラ制御部１１０は、ユーザの操作に従って、位相差検出部１４０が検出した位相差を受け取り、撮影レンズ１２０におけるフォーカシングレンズなどの位置を位相差に応じて制御することにより、焦点距離を調節する。

撮影レンズ１２０は、焦点距離を変更することができるレンズである。例えば、フォーカシングレンズ、バリエータ、コンペンセータ、および、マスターレンズを備える、いわゆる４群ズームレンズが撮影レンズ１２０として用いられる。

撮像素子２００は、撮影レンズ１２０を介して受光した光量を電位に変換し、その電位に応じた画素値を出力するものである。この撮像素子２００は、複数の通常画素と複数の位相差画素とを備える。これらの位相差画素は、位相差を検出するための画素である。そして、位相差画素の各々は、瞳分割された一対の光の各々を受光するための一対の画素（以下、「左側画素」および「右側画素」と称する。）を含む。また、通常画素は、位相差画素以外の画素であり、画像を生成するために用いられる。撮像素子２００は、カメラ制御部１１０の制御に従って、通常画素の画素値を読み出し、信号線２０９を介して画像処理部１３０へ出力する。また、撮像素子２００は、位相差画素の画素値を読み出し、信号線２０９を介して位相差検出部１４０へ出力する。

画像処理部１３０は、通常画素の画素値により生成される画像に対して、デモザイク処理などの画像処理を実行するものである。この画像処理部１３０は、通常画素の画素値からなる画像を保持し、その画像において位相差画素の画素値を補間する。そして、画像処理部１３０は、補間後の画像にデモザイク処理やホワイトバランス処理などの画像処理を必要に応じて実行して、表示処理部１５０および画像記録制御部１８０に信号線１３９を介して出力する。

位相差検出部１４０は、位相差画素の画素値から位相差を検出するものである。位相差検出部１４０は、例えば、左側画素および右側画素のそれぞれの輝度値の分布を生成し、それらの相関度から位相差を検出する。位相差検出部１４０は、検出した位相差をカメラ制御部１１０に信号線１４９を介して出力する。

表示処理部１５０は、画像に対して、ガンマ補正処理、色補正処理、または、コントラスト調整処理などの表示処理を必要に応じて実行するものである。表示処理部１５０は、表示処理後の画像を表示部１６０および画像出力部１７０に信号線１５９を介して出力する。

表示部１６０は、表示処理部１５０からの画像を表示するものである。画像出力部１７０は、表示処理部１５０からの画像を撮像装置１００の外部へ出力するものである。

画像記録制御部１８０は、画像処理部１３０からの画像を画像記録部１９０に信号線１８９を介して出力して、その画像を画像記録部１９０に記録させるものである。画像記録部１９０は、画像を記録するものである。

［撮像素子の構成例］
図２は、第１の実施の形態における撮像素子２００の一構成例を示すブロック図である。この撮像素子２００は、タイミング制御回路２１０、行走査回路２２０、転送信号生成回路２３０、画素アレイ部２４０、Ｄ／Ａ変換部２５０、Ａ／Ｄ変換部２６０、カウンタ２７０、および、列走査回路２９０を備える。

タイミング制御回路２１０は、カメラ制御部１１０からの制御信号に従って、画素値の出力のタイミングを制御するものである。このタイミング制御回路２１０は、タイミング信号ＴｃおよびＴｒを出力することにより、行および列の走査のタイミングを制御する。タイミング信号Ｔｃは、行の走査開始のタイミングを指示する信号である。一方、タイミング信号Ｔｒは、行の各々における列の走査開始のタイミングを指示する信号である。ここで、行は、画素アレイ部２４０において、ある一方向に複数の画素が配列されたものであり、水平ラインとも呼ばれる。これらの行（水平ライン）のうち位相差画素を含む行を位相差ラインと称し、位相差画素を含まない行を通常ラインと称する。一方、列は、画素アレイ部２４０において、行と直交する方向に複数の画素が配列されたものであり、垂直ラインとも呼ばれる。

具体的には、タイミング制御回路２１０は、１枚の画像を撮像するための撮像期間の開始時にタイミング信号Ｔｃを生成して行走査回路２２０および転送信号生成回路２３０に供給する。この撮像期間は、通常画素の画素値を出力するための通常画素出力期間と、位相差画素の画素値を出力するための位相差画素出力期間とに分割される。タイミング制御回路２１０は、撮像期間開始時にタイミング信号Ｔｃを出力した後、位相差画素出力期間の開始時にタイミング信号Ｔｃを出力する。そして、タイミング制御回路２１０は、撮像期間内の行の選択のタイミングに同期してタイミング信号Ｔｒを生成して列走査回路２９０に供給する。ただし、ライブビューモードの場合には、選択される行の数が少なくなるため、タイミング制御回路２１０は、キャプチャーモードの場合より、少ない数のタイミング信号Ｔｒを撮像期間内に生成する。

例えば、位相差ラインｋ行を含むｎ行、ｍ列の画像が１枚撮像される場合、タイミング制御回路２１０は、撮像期間開始時にタイミング信号Ｔｃを１回生成し、通常画素出力期間内にタイミング信号Ｔｒをｎ回生成する。ここで、ｎ、ｍは、２以上の整数であり、ｋは１乃至ｎの整数である。そして、タイミング制御回路２１０は、位相差画素出力期間開始時にタイミング信号Ｔｃを１回生成し、位相差画素出力期間内にタイミング信号Ｔｒをｋ回生成する。

また、タイミング制御回路２１０は、基準電圧値を示すデジタル信号をＤ／Ａ変換部２５０に供給する。さらに、タイミング制御回路２１０は、タイミング信号Ｔｒを生成するタイミングと同期してカウンタ２７０を制御してカウンタ値を初期値にする。

行走査回路２２０は、タイミング信号Ｔｃおよび制御信号に従って、行の各々を選択するものである。この行走査回路２２０は、通常画素出力期間内に、行選択信号を行の各々へ２２９−１乃至２２９−ｎを介して順に出力することにより行を選択する。これらの行選択信号は、例えば、行が選択される場合にハイレベルに設定され、選択されない場合にローレベルに設定される。また、行走査回路２２０は、位相差画素出力期間内に、位相差ラインの各々を順に選択する。ただし、ライブビューモードの場合には、行走査回路２２０は、キャプチャーモードの場合より少ない数の行を撮像期間内に選択する。なお、行走査回路２２０は、特許請求の範囲に記載の行走査部の一例である。

転送信号生成回路２３０は、タイミング信号Ｔｃおよび制御信号に従って、選択された列における画素の各々に転送信号を出力することにより、画素を駆動するものである。この転送信号は、例えば、画素を駆動させる場合にハイレベルに設定され、駆動させない場合にローレベルに設定される。転送信号生成回路２３０は、タイミング信号Ｔｃから行走査回路２２０が行を選択するタイミングを取得する。通常画素出力期間内においては、転送信号生成回路２３０は、行の選択のタイミングに同期して、選択された行における通常画素の各々を同時に駆動する。そして、位相差画素出力期間内においては、転送信号生成回路２３０は、行の選択のタイミングに同期して、選択された行における位相差画素の各々を同時に駆動する。ただし、ライブビューモードの場合には、キャプチャーモードの場合より少ない数の行が選択されるため、通常画素出力期間および位相差画素出力期間は短くなる。なお、転送信号生成回路２３０は、特許請求の範囲に記載の駆動部の一例である。

画素アレイ部２４０は、複数の位相差画素２４１と複数の通常画素２４２とが２次元格子状に配列されたものである。それぞれの画素は、ハイレベルの行選択信号および転送信号が入力された場合に、受光量に応じた電位の電気信号である画素信号をＡ／Ｄ変換部２６０へ信号線２４９−１乃至２４９−ｍのうち対応する列の信号線を介して出力する。

Ｄ／Ａ変換部２５０は、タイミング制御回路２１０からの基準電圧値をＤ／Ａ（Digital to Analog）変換して基準電圧ＶｒｅｆをＡ／Ｄ変換部２６０に供給するものである。

Ａ／Ｄ変換部２６０は、アナログ信号である画素信号をデジタル信号に変換するものである。Ａ／Ｄ変換部２６０は、複数（例えば、ｍ個）のＡ／Ｄ変換回路２６１を備える。各々のＡ／Ｄ変換回路２６１は、コンパレータ２６２およびメモリ２６３を備える。コンパレータ２６２は、参照電圧Ｖｒｅｆと、画素信号の電圧とを比較して比較結果を出力するものである。Ａ／Ｄ変換回路２６１は、例えば、積分回路により画素信号を積分し、積分した電圧が基準電圧Ｖｒｅｆを越えたことをコンパレータ２６２の出力値が示すまでの期間をカウンタ２７０に計数させる。そして、カウンタ２７０の計数値を画素値としてメモリ２６３に保持する。なお、図２において、積分回路は、省略されている。

メモリ２６３は、画素値を保持するものである。各々のメモリ２６３には、信号線２９８−１乃至２９８−ｍのうち対応する列の信号線を介して列選択信号が入力される。列選択信号は、列に対応するメモリ２６３を選択して画素値を出力させるための信号である。例えば、画素値を出力させる場合には、列選択信号にハイレベルが設定され、出力させない場合にはローレベルが設定される。メモリ２６３は、列選択信号がハイレベルの場合に信号線２０９を介して画素値を出力する。

列走査回路２９０は、タイミング信号Ｔｒおよび制御信号に従って、選択された行における画素の各々の画素値を読み出して出力するものである。転送信号生成回路２３０は、通常画素出力期間において、タイミング信号Ｔｒが入力されるたびに、Ａ／Ｄ変換部２６０に保持された通常画素の画素値を所定の順番で読み出して出力する。また、転送信号生成回路２３０は、位相差画素出力期間において、タイミング信号Ｔｒが入力されるたびに、Ａ／Ｄ変換部２６０に保持された位相差画素の画素値を所定の順番で読み出して出力する。ここで、列走査回路２９０は、タイミング信号Ｔｒの回数を計数することにより、通常画素出力期間および位相差画素出力期間の各々の開始および終了時点を取得する。例えば、ｎ行の画像撮像において、通常画素出力期間は、最初のタイミング信号Ｔｒが入力されてから、ｎ回目のタイミング信号Ｔｒが入力されるまでの期間である。ただし、ライブビューモードにおいては、選択される行がキャプチャーモードの場合より少ないため、各期間において計数されるタイミング信号の行数も少なくなる。なお、列走査回路２９０は、特許請求の範囲に記載の列走査部の一例である。

図３は、第１の実施の形態における撮像素子２００の動作の一例を示す図である。制御信号によりライブビューモードが設定されている場合には、タイミング制御回路２１０は、例えば、１／３０秒ごとに、タイミング信号Ｔｃを生成する。それらのタイミング信号Ｔｃに応じて、行走査回路２２０は、通常画素出力期間において全ラインのうち１／３の水平ラインを選択する。次いで、位相差画素出力期間において、行走査回路２２０は、位相差ラインを選択する。通常画素出力期間内における１／３の水平ラインの選択時に、列走査回路２９０は、通常画素を選択する。次いで、位相差画素出力期間における位相差ライン選択時に、列走査回路２９０は、位相差画素を選択する。

一方、制御信号によりキャプチャーモードが設定されている場合には、タイミング制御回路２１０は、シャッタースピードに従って（静止画撮影時）、または、１／３０秒毎などに（動画撮影時）、タイミング信号Ｔｃを生成する。それらのタイミング信号Ｔｃに応じて、行走査回路２２０は、通常画素出力期間において全水平ラインを選択する。次いで、位相差画素出力期間において、行走査回路２２０は、位相差ラインを選択する。通常画素出力期間内における全水平ラインの選択時に、列走査回路２９０は、通常画素を選択する。次いで、位相差画素出力期間における位相差ライン選択時に、列走査回路２９０は、位相差画素を選択する。なお、ライブビューにおける間引き数は３ラインのうち２ラインに限定されない。例えば、ライブビューモードの場合に、行走査回路２２０が、１／３ラインでなく、全行の１／５ラインを選択する構成としてもよい。

図４は、第１の実施の形態における画素の配置の一例を示す図である。画素アレイ部２４０には、ベイヤー配列などの配列方式で、２次元格子状に、Ｒ（Red）、Ｇ(Green)またはＢ(Blue)の複数の通常画素２４２が配列される。ただし、所定の座標において、通常画素の代わりに位相差画素２４１が配置される。例えば、１行目、９行目、および、１７行目等のそれぞれにおける１列目、３列目、７列目、および、９列目等に位相差画素が配置される。

キャプチャーモードの場合には、通常画素出力期間において全水平ラインが選択され、それらの水平ラインにおいて通常画素が出力される。そして、位相差画素出力期間においては、位相差ライン（１行目、９行目、および、１７行目等）が選択され、それらの水平ラインにおいて、位相差画素が出力される。

一方、ライブビューモードの場合には、通常画素出力期間において、全水平ラインの１／３の水平ラインが選択され、それらの水平ラインにおいて、通常画素が出力される。例えば、２行目、５行目、および、８行目などが選択される。そして、位相差画素出力期間においては、１／３の水平ラインのうちの位相差ライン（１７行目等）が選択され、それらの水平ラインにおいて、位相差画素が出力される。

［行走査回路の構成例］
図５は、第１の実施の形態における行走査回路２２０の一構成例を示すブロック図である。この行走査回路２２０は、行選択制御回路２２１、シフトレジスタ２２２、および、行選択回路２２４を備える。

シフトレジスタ２２２は、タイミング信号Ｔｃを段階的に遅延させて出力するものである。シフトレジスタ２２２は、直列に接続された複数段（例えば、ｎ段）のＤフリップフロップ２２３を備える。Ｄフリップフロップ２２３は、入力された信号を遅延させて出力するものである。具体的には、クロック信号が「１」のときに、Ｄフリップフロップ２２３は、入力された信号と同じ値の信号を出力する。これにより、クロック信号が「０」のときに入力された信号が、クロック信号が立ち上がるまでの間、遅延する。１段目のＤフリップフロップ２２３には、タイミング信号Ｔｃが入力される。各々の段のＤフリップフロップ２２３は、前段から入力された信号を遅延させて、後段のＤフリップフロップ２２３および行選択回路２２４へ出力する。１乃至ｎ段目のＤフリップフロップの出力のそれぞれは、１乃至ｎ行目の行選択信号として用いられる。各々の段の行選択信号は、前段の行選択信号に対して遅延して出力されるため、これらの行選択信号により、行の各々が先頭から順に選択される。

行選択制御回路２２１は、行選択回路２２４を制御して、行を選択するものである。行選択制御回路２２１は、通常画素出力期間内において、シフトレジスタ２２２からの行選択信号の全てを、それぞれに対応する行へ出力させる。そして、行選択制御回路２２１は、位相差画素出力期間内において、シフトレジスタ２２２からの行選択信号を、位相差ラインへ出力させる。例えば、１行目、９行目、および、１７行目等が位相差ラインである場合、行選択制御回路２２１は、１段目のＤフリップフロップ２２３からの行選択信号を１行目へ、２段目からの行選択信号を９行目へ、３段目からの行選択信号を１７行目へ出力させる。ただし、ライブビューモードの場合には、行選択制御回路２２１は、キャプチャーモードの場合より少ない数の行を撮像期間内に選択する。

行選択回路２２４は、行選択制御回路２２１の制御に従って、シフトレジスタ２２２からの行選択信号の出力先を選択するものである。

［転送信号生成回路の構成例］
図６は、第１の実施の形態における転送信号生成回路２３０の一構成例を示すブロック図である。この転送信号生成回路２３０は、転送制御回路２３１、転送クロック信号生成回路２３２、および、出力制御回路２３３を備える。

転送クロック信号生成回路２３２は、転送クロック信号ｔＣＬＫを生成するものである。転送クロック信号ｔＣＬＫは、シフトレジスタ２２２における１段当たりの信号の遅延時間に周期が等しくなるように調整されたクロック信号である。これにより、行の選択のタイミングに同期して、転送クロック信号ｔＣＬＫが立ち上がる。転送クロック信号ｔＣＬＫは、列のそれぞれへの転送信号として用いられる。転送クロック信号生成回路２３２は、生成した転送クロック信号ｔＣＬＫを出力制御回路２３３へ出力する。

転送制御回路２３１は、出力制御回路２３３に転送信号を出力させるものである。通常画素出力期間において、転送制御回路２３１は、通常画素が配置された列に転送信号を出力させる。転送制御回路２３１は、通常ライン選択時には、全列へ転送信号を出力させ、位相差ライン選択時には、位相差画素の列を除く列へ転送信号を出力させる。例えば、位相差ラインの１列目および３列目等に位相差画素が配置されている場合、転送制御回路２３１は、位相差ライン選択時には、１列目および３列目等を除く、２列目および４列目等へ転送信号を出力させる。

一方、位相差画素出力期間において、転送制御回路２３１は、位相差画素が配置された列に転送信号を出力させる。ただし、ライブビューモードの場合には、キャプチャーモードの場合より少ない数の行が選択されるため、転送信号の出力期間は短くなる。

出力制御回路２３３は、転送制御回路２３１の制御に従って、列の各々に転送信号を出力するものである。出力制御回路２３３は、複数（例えば、ｍ個）のスイッチ２３４を備える。各々のスイッチ２３４は、転送制御回路２３１によりオン状態またはオフ状態に制御される。スイッチ２３４がオンの場合には入力された信号が出力され、オフの場合には出力されない。ｍ個のスイッチ２３４の各々の入力端子には転送クロック信号ｔＣＬＫが入力され、各々の出力端子には、信号線２３９−１乃至２３９−ｍのいずれかが接続される。例えば、ｒ（ｒは１乃至ｍの整数）個目のスイッチ２３４からの転送クロック信号ｔＣＬＫは、ｒ列目への転送信号として用いられる。

［画素の構成例］
図７は、通常画素２４２の一構成例を示す回路図である。通常画素２４２は、フォトダイオード２４３、転送トランジスタ２４４、リセットトランジスタ２４５、浮遊拡散層２４６、増幅トランジスタ２４７、および、選択トランジスタ２４８を備える。なお、位相差画素２４１の構成は、通常画素２４２の構成と同様である。

フォトダイオード２４３は、受光した光を電荷に変換するものである。転送トランジスタ２４４は、転送信号に従ってフォトダイオード２４３により変換された電荷を浮遊拡散層２４６に転送するための素子である。この転送トランジスタ２４４の入力端子は、フォトダイオード２４３の出力端子に接続され、出力端子は浮遊拡散層２４６に接続される。また、転送トランジスタ２４４の制御端子は、信号線２３９−１乃至２３９−ｍのうち列に対応する信号線に接続される。例えば、通常画素２４２がｒ（ｒは１乃至ｍの整数）列目に位置する画素であれば、転送トランジスタ２４４の制御端子は信号線２３９−ｒに接続される。転送トランジスタ２４４は、ハイレベルの転送信号が入力されたときに、オン状態となり、フォトダイオード２４３により変換された電荷が浮遊拡散層２４６に転送される。

リセットトランジスタ２４５は、リセット信号に従って浮遊拡散層２４６の電位を初期電位にするための素子である。このリセットトランジスタ２４５の入力端子は、電源電圧Ｖｃｃが印加される電源端子に接続され、出力端子は浮遊拡散層２４６に接続される。また、リセットトランジスタ２４５の制御端子には、リセット信号が入力される。このリセット信号は、浮遊拡散層２４６の電位を初期電位に制御するための信号であり、例えば、行走査回路２２０により撮像期間より前に生成される。リセット信号が入力された場合には、リセットトランジスタ２４５は、オン状態となる。この結果、浮遊拡散層２４６に蓄積された電荷が放出されて、浮遊拡散層２４６の電位が初期電位となる。

浮遊拡散層２４６は、転送トランジスタ２４４により転送された電荷を蓄積するものである。この浮遊拡散層２４６の一端は接地端子に接続され、他端は、転送トランジスタ２４４の出力端子、リセットトランジスタ２４５の出力端子、および、増幅トランジスタ２４７のゲート端子に接続される。これにより、浮遊拡散層２４６に蓄積された電荷量に応じた電位が増幅トランジスタ２４７のゲート端子に印加される。

増幅トランジスタ２４７は、印加された電位を増幅するものである。この増幅トランジスタ２４７の入力端子は電源端子に接続され、出力端子は選択トランジスタ２４８の入力端子に接続され、制御端子は浮遊拡散層２４６に接続される。増幅トランジスタ２４７は、浮遊拡散層２４６の電位を所定の増幅率で増幅して選択トランジスタ２４８に出力する。

選択トランジスタ２４８は、行選択信号に従って、増幅トランジスタ２４７により増幅された電位の電気信号を出力するものである。この選択トランジスタ２４８の入力端子は増幅トランジスタ２４７の出力端子に接続され、出力端子は信号線２４９−１乃至２４９−ｍのうち列に対応する信号線に接続される。例えば、通常画素２４２がｒ列目に位置する画素であれば、選択トランジスタ２４８の出力端子は信号線２４９−ｒに接続される。また、選択トランジスタ２４８の制御端子は、信号線２２９−１乃至２２９−ｎのうち行に対応する信号線に接続される。例えば、通常画素２４２がｃ（ｃは１乃至ｎの整数）行目に位置する画素であれば、選択トランジスタ２４８の制御端子は信号線２２９−ｃに接続される。選択トランジスタ２４８は、ハイレベルの行選択信号が入力された場合には、オン状態となる。この結果、光量に応じた電位の電気信号が通常画素２４２からＡ／Ｄ変換部２６０へ出力される。

図７に例示した構成により、通常画素２４２は、ハイレベルの行選択信号およびハイレベルの転送信号が入力されたときに、受光量に応じた電位の電気信号を出力する。

［列走査回路の構成例］
図８は、第１の実施の形態における列走査回路２９０の一構成例を示すブロック図である。列走査回路２９０は、列選択制御回路２９１、列選択回路２９２、および、シフトレジスタ２９３を備える。

シフトレジスタ２９３は、タイミング信号Ｔｒを段階的に遅延させて出力するものである。シフトレジスタ２９３は、行を選択するためのシフトレジスタ２２２と同様に、直列に接続された複数段（例えば、ｍ段）のＤフリップフロップ２９４を備える。ただし、列を選択するためのシフトレジスタ２９３における全段の遅延時間は、行を選択するためのシフトレジスタ２２２における１段の遅延時間未満となるように設定される。

列選択制御回路２９１は、列選択回路２９２を制御して、列を所定の順番で選択するものである。例えば、列選択制御回路２９１は、１乃至ｍ列目を昇順に選択する。列選択制御回路２９１は、通常画素出力期間内においては、通常画素が配置された列を選択する。列選択制御回路２９１は、通常ライン選択時には、全列を選択し、位相差ライン選択時には、位相差画素の列を除く列を選択する。例えば、位相差ラインの１列目および３列目等に位相差画素が配置されている場合、列選択制御回路２９１は、位相差ライン選択時には、１列目および３列目等を除く、２列目および４列目等を順に選択する。

一方、位相差画素出力期間において、列選択制御回路２９１は、位相差画素が配置された列を順に選択する。ただし、ライブビューモードの場合には、キャプチャーモードの場合より少ない数の行が選択されるため、通常画素出力期間および位相差画素出力期間は短くなる。

列選択回路２９２は、列選択制御回路２９１の制御に従って、シフトレジスタ２９３からの列選択信号の出力先を選択するものである。列選択回路２９２は、列選択信号によりＡ／Ｄ変換部２６０を制御して、通常画素出力期間において選択された列の画素値を画像処理部１３０へ出力させる。また、列選択回路２９２は、位相差画素出力期間において選択された列の画素値を位相差検出部１４０へ出力させる。

［画像処理部の構成例］
図９は、画像処理部１３０の一構成例を示すブロック図である。この画像処理部１３０は、画像バッファ１３１、位相差画素アドレス記憶部１３２、画素補間部１３３、および、デモザイク処理部１３４を備える。

画像バッファ１３１は、撮像素子２００からの画素値からなる画像を保持するものである。位相差画素アドレス記憶部１３２は、画像における位相差画素のアドレスを記憶するものである。

画素補間部１３３は、通常画素の画素値を使用して位相差画素の画素値を補間するものである。この画素補間部１３３は、位相差画素アドレス記憶部１３２から位相差画素のアドレスを読み出し、そのアドレスの近傍の通常画素の画素値を画像バッファ１３１から読み出す。そして、画素補間部１３３は、位相差画素の画素値を、通常画素の画素値により補間する。例えば、位相差画素の座標を（ｘ、ｙ）とした場合、画素補間部１３３は、（ｘ−１，ｙ−１）、（ｘ＋１，ｙ−１）、（ｘ−１，ｙ＋１）および（ｘ＋１，ｙ＋１）の４つの通常画素の画素値の平均値により、位相差画素の画素値を補間する。隣接する画素の画素値が使用されないのは、ベイヤー配列においては、隣接した画素同士の色が異なるためである。画素補間部１３３は、補間後の画像をデモザイク処理部１３４へ出力する。

デモザイク処理部１３４は、補間後の画像に対して、各々の画素に欠落している色情報を補間するデモザイク処理を実行するものである。デモザイク処理部１３４は、デモザイク後の画像を表示処理部１５０へ出力する。

なお、画像処理部１３０は、デモザイク前の画像（いわゆる、ＲＡＷ画像）にデモザイク処理を実行してから出力する構成としているが、デモザイク処理を行わずに、ＲＡＷ画像をそのまま出力してもよい。また、画像処理部１３０は、デモザイク処理のほか、ホワイトバランス処理や、カラーバランス処理などの画像処理を実行してもよい。

［撮像素子の動作例］
図１０は、第１の実施の形態における通常画素出力期間内の撮像素子２００の動作の一例を示すタイミングチャートである。通常画素出力期間開始時に、タイミング信号Ｔｃが入力されると、行走査回路２２０は、そのタイミング信号Ｔｃを段階的に遅延させて、遅延させた各々の信号を行選択信号として出力する。

位相差ラインが選択されている場合には、転送信号生成回路２３０は、位相差画素を除く列の転送信号を生成して出力し、それらの列の画素を同時に駆動する。一方、通常ラインが選択されている場合には、転送信号生成回路２３０は、全列の転送信号を生成する。

駆動された画素の画素値は、Ａ／Ｄ変換部２６０に保持される。そして、行選択時にタイミング信号Ｔｒが入力されると、列走査回路２９０は、そのタイミング信号Ｔｒを段階的に遅延させて、遅延させた各々の信号を列の各々を順に選択するための列選択信号として出力する。ただし、位相差ラインが選択されている場合には、列走査回路２９０は、位相差画素を除く列の列選択信号を生成する。一方、通常ラインが選択されている場合には、列走査回路２９０は、全列の列選択信号を生成する。

例えば、１行目が位相差ラインであり、１行目の１列目、３列目、７列目、および、９列目等に位相差画素が配置されている場合を考える。この場合、行走査回路２２０により１行目が選択されると、２列目、４列目、５列目、および、６列目および８列目等の画素が転送信号生成回路２３０により同時に駆動され、列走査回路２９０により、これらの列の画素値が順に読み出される。

また、２行目が通常ラインである場合、行走査回路２２０により２行目が選択されると、転送信号生成回路２３０により全列の画素が同時に駆動され、列走査回路２９０により、それらの画素値が順に読み出される。

図１０に例示したように行選択信号は、タイミング信号Ｔｃを遅延させた信号であるため、このタイミング信号Ｔｃのオン期間を変更することにより、通常画素出力期間の長さが変更される。通常画素出力期間は、位相差画素を出力する必要はないため、通常画素出力期間は、全画素を出力する時間よりも、短く設定される。

図１１は、第１の実施の形態における位相差画素出力期間内の撮像素子２００の動作の一例を示すタイミングチャートである。位相差画素出力期間開始時に、タイミング信号Ｔｃが入力されると、行走査回路２２０は、そのタイミング信号Ｔｃを段階的に遅延させて、遅延させた各々の信号を行選択信号として出力する。

位相差ラインが選択されるタイミングに同期して、転送信号生成回路２３０は、位相差画素が配置された列の転送信号を生成して出力し、それらの列の画素を同時に駆動する。

駆動された画素の画素値は、Ａ／Ｄ変換部２６０に保持される。そして、位相差ライン選択時にタイミング信号Ｔｒが入力されると、列走査回路２９０は、そのタイミング信号Ｔｒを段階的に遅延させて、遅延させた各々の信号を位相差画素の列の各々を順に選択するための列選択信号として出力する。

例えば、１行目は位相差ラインであり、１行目の１列目、３列目、７列目、および、９列目等に位相差画素が配置されている場合を考える。この場合、行走査回路２２０により１行目が選択されると、１列目、３列目、７列目、および、９列目等の画素が転送信号生成回路２３０により同時に駆動され、列走査回路２９０により、これらの列の画素値が順に読み出される。

位相差画素出力期間の開始時に入力されるタイミング信号Ｔｃのオン期間を変更することにより、位相差画素出力期間の長さが変更される。位相差画素出力期間は、通常画素を出力する必要はないため、位相差画素出力期間は、全画素を出力する時間よりも、短く設定される。

図１２は、第１の実施の形態における第１の実施の形態における撮像装置の動作の一例を示すタイミングチャートである。１枚の画像（フレーム）を撮像する期間は、通常画素出力期間および位相差画素出力期間に分割される。前述したように、通常画素出力期間は、全画素を出力する必要がないため、全画素を出力する場合と比較して短く設定される。位相差画素出力期間も同様に、全画素を出力する場合よりも短く設定される。通常画素出力期間が時刻Ａに開始すると、その期間が終了する時刻Ｂまでの間、撮像素子２００は通常画素の画素値を画像処理部１３０へ順に出力する。そして、時刻Ｂに位相差画素出力期間が開始すると、その期間が終了する時刻Ｄまでの間、撮像素子２００は位相差画素の画素値を位相差検出部１４０へ順に出力する。

画像処理部１３０は、時刻Ｂにおいて画像処理を開始し、その画像処理は、例えば、位相差画素出力期間の終了時刻Ｄより前の時刻Ｃに終了する。一方、位相差検出部１４０は、時刻Ｄにおいて位相差検出処理を開始し、その位相差検出処理は時刻Ｅに終了する。

仮に、撮像素子２００が全画素を読み出す構成とすると、時刻Ｄに近い時刻に画素の読出しが完了するため、その時刻が経過しないと画像処理部１３０は、画像処理を開始することができない。しかし、撮像素子２００が通常画素のみを先に読み出すことにより、画像処理部１３０は、時刻Ｄより前の時刻Ｂに画像処理を開始することができる。したがって、全画素を読み出す場合と比較して、画像処理が高速化される。

なお、通常画素出力期間が位相差画素出力期間より先に開始する構成としているが、逆に位相差画素出力期間が通常画素出力期間より先に開始する構成としてもよい。これにより、全画素を読み出す場合と比較して、位相差検出処理が高速化される。

このように、本技術の第１の実施の形態によれば、撮像装置１００は、通常画素出力期間内に通常画素の画素値を読み出し、位相差画素出力期間内に位相差画素の画素値を読み出して、画像処理および位相差検出処理のいずれかを先に開始することができる。これにより、撮像開始から、画像処理または位相差検出処理の終了までの時間が短縮される。したがって、画像処理終了までの時間が短縮された場合には、撮像開始から画像の表示や記録終了までの時間が短縮され、撮像装置１００の画像の表示や記録におけるレスポンスを向上させることができる。また、位相差検出終了までの時間が短縮された場合には、撮像開始から合焦完了までの時間が短くなり、撮像装置１００の合焦におけるレスポンスを向上させることができる。

＜２．第２の実施の形態＞
［撮像素子の構成例］
図１３は、第２の実施の形態における撮像素子２００の一構成例を示すブロック図である。第２の実施の形態の撮像素子２００は、通常画素出力期間において位相差画素の画素値の代わりに固定値を出力し、画素加算処理をさらに実行する点において第１の実施の形態と異なる。具体的には、第２の実施の形態の撮像素子２００は、複数（例えば、ｍ個）の固定値挿入部２８０と、画素加算部２８５とを備える点において第１の実施の形態と異なる。

固定値挿入部２８０は、列走査回路２９０の制御に従って、Ａ／Ｄ変換部２６０に保持された画素値の代わりに、固定値を挿入するものである。ここで、固定値は、画素値として出力されることのない値である。例えば、Ａ／Ｄ変換部２６０が、画素アレイ部２４０から出力された信号の電位を最大１２ビットの画素値に変換することができる場合を想定する。この場合、電位は、４０９６階調（０乃至４０９５）の画素値に変換される。この構成において、撮像装置１００のモード設定などにより、Ａ／Ｄ変換部２６０が、電位を１０ビットの画素値に変換するときは、画素値は、１０２４階調（０乃至１０２３）の画素値に変換される。このときにおいて、１０２４乃至４０９５の値が画素値として出力されることはないため、これらのいずれか（１０２４など）が固定値とされる。

これらの固定値挿入部２８０は、列毎に配置される。そして、固定値挿入部２８０の入力端子には、信号線２６９−１乃至２６９−ｍのうち対応する列の信号線を介してＡ／Ｄ変換部２６０からの画素値が入力される。また、固定値挿入部２８０の出力端子からの画素値は、信号線２８９−１乃至２８９−ｍのうち対応する列の信号線を介して画素加算部２８５に出力される。ただし、画素加算の対象とならない列（例えば、１列目）の画素値は、画像処理部１３０へ直接出力される。

第２の実施の形態の列走査回路２９０は、固定値挿入部２８０へ切替信号を出力することにより固定値挿入部２８０を制御して、通常画素出力期間内に、位相差画素の画素値を読み出す順番において固定値を挿入させる。また、列走査回路２９０は、通常画素出力期間内に各々の行において、全ての列を選択する。一方、位相差画素出力期間内では、列走査回路２９０は、固定値を挿入させない。切替信号は、例えば、固定値を挿入させる場合にハイレベルに設定され、挿入させない場合にローレベルに設定される。

画素加算部２８５は、制御信号に従って、行内の所定の位置関係にある複数の画素の画素値を加算して画像処理部１３０へ出力するものである。第２の実施の形態の制御信号には、画素加算を行うか否かを指示する信号がさらに含まれる。

例えば、２、４および６列目にＢ画素が配置された行において画素加算を行う場合、画素加算部２８５は、２、４および６列目の画素値を加算して１つのＢ画素の画素値として出力する。ただし、所定の位置関係にある複数の画素に、位相差画素が含まれる場合には、画素加算部２８５は、固定値挿入部２８０が挿入した固定値と、通常画素の画素値とを加算する。例えば、１行目において、３列目に通常画素が配置され、５および７列目に位相差画素が配置される場合、画素加算部２８５は、３列目の画素値に、２つの固定値を加算して出力する。

画素加算により、画像の解像度が低下するものの、画素の各々の感度が高くなる。また、出力する画素数も少なくなるため、画素加算が行われない場合よりも、画像処理および位相差検出処理が高速化される。

［固定値挿入部の構成例］
図１４は、第２の実施の形態における固定値挿入部２８０の一構成例を示すブロック図である。この固定値挿入部２８０は、固定値記憶部２８１およびセレクタ２８２を備える。固定値記憶部２８１は、固定値を記憶するものである。セレクタ２８２は、列走査回路２９０からの切替信号に従って、固定値および画素値のいずれかを出力するものである。このセレクタ２８２は、２つの入力端子と出力端子とを備える。入力端子の一方は、Ａ／Ｄ変換部２６０に接続され、他方は固定値記憶部２８１に接続される。例えば、ハイレベルの切替信号が入力された場合には、セレクタ２８２は、固定値を出力し、ローレベルの切替信号が入力された場合には、セレクタ２８２は、Ａ／Ｄ変換部２６０からの画素値を出力する。

［列走査回路の構成例］
図１５は、第２の実施の形態における列走査回路２９０の一構成例を示すブロック図である。第２の実施の形態の列走査回路２９０は、セレクタ制御部２９５をさらに備える点において、第１の実施の形態と異なる。セレクタ制御部２９５は、通常画素出力期間内に、位相差画素が配置された列の固定値挿入部２８０にハイレベルの切替信号を送信して、固定値を挿入させる。一方、位相差画素出力期間内に、セレクタ制御部２９５は、全ての固定値挿入部２８０にローレベルの切替信号を送信して、固定値を挿入させない。

また、列選択制御回路２９１は、画素加算が行われない場合に通常画素出力期間において、全ての列を選択する。一方、画素加算が行われる場合に通常画素出力期間において、加算対象の複数の列を同時に選択する。

なお、列走査回路２９０は、固定値挿入部２８０を制御する構成としているが、固定値挿入部２８０を制御しない構成とすることもできる。この構成では、転送信号生成回路２３０が、各々の転送信号を反転した信号を、その転送信号に対応する列の切替信号として固定値挿入部２８０に出力すればよい。

［画像処理部の構成例］
図１６は、第２の実施の形態における画像処理部１３０の一構成例を示すブロック図である。画像処理部１３０は、位相差画素アドレス記憶部１３２の代わりに、読出画素数カウンタ１３５を備える点において、第１の実施の形態と異なる。

第２の実施の形態の画素補間部１３３は、画素加算が行われない場合には、画像バッファ１３１に保持された画像において、固定値の画素を補間する。前述したように固定値は画素値として用いられない値であるため、画素補間部１３３は、位相差画素アドレス記憶部１３２からアドレスを読み出さずとも、固定値により、位相差画素であるか否かを判断することができる。これにより、位相差画素アドレス記憶部１３２が不要となる。

一方、画素加算が行われる場合には、画素補間部１３３は、画像バッファから画素値を読み出す毎に、読出画素数カウンタ１３５に画素数を計数させる。画素補間部１３３は、カウント値に基づいて、読み出した画素値が固定値を含むか否かを判断する。例えば、１行目において、１、５および７列目等に位相差画素が配置され、２、４および６列目の画素値が加算され、３列目の画素値と２つの固定値とが加算された場合を考える。この場合、１行目において最初に読み出される画素値（すなわち、加算値）は、固定値を含まず、２番目に読み出される加算値は、固定値を含む。

画素補間部１３３は、固定値を含む画素値から固定値を減じて、減じた後の画素値に所定の乗算値を乗算することにより補間を行う。例えば、画素補間部１３３は、１つの画素値と２つの固定値とが加算された値において、それらの固定値を減じ、減じた後の画素値を３倍にする。また、２つの画素値と固定値とが加算された場合には、画素補間部１３３は、固定値を減じた後の値を１．５倍すればよい。

［撮像素子の動作例］
図１７は、第２の実施の形態における画素加算が行われない場合の通常画素出力期間内の撮像素子の動作の一例を示すタイミングチャートである。第２の実施の形態の行選択信号および転送信号の生成のタイミングは、第１の実施の形態と同様である。

第２の実施の形態の列走査回路２９０は、全ての列を順に選択する。また、第２の実施の形態の列走査回路２９０は、位相差画素が配置された列の固定値挿入部２８０にハイレベルの切替信号を送信して、固定値を挿入させる。例えば、１行目において、１、５、７および９列目等に位相差画素が配置され、１行目の選択時に列走査回路２９０は１、５、７および９列目の固定値挿入部２８０にハイレベルの切替信号を出力し、それ以外にローレベルの切替信号を送信する。そして、２行目において位相差画素が配置されない場合、２行目の選択時に列走査回路２９０は、全切替信号をローレベルにする。この結果、画素値の読出しにおいて、位相画素の画素値に対応する順番において固定値が挿入される。

図１７に例示したように、画素加算を行わない場合においては、固定値が挿入されるため、通常画素出力期間は、全画素の画素値を出力する時間と変わらなくなり、画像処理は高速化されない。このため、画素加算を行わない場合には、撮像素子２００は、位相差画素出力期間を通常画素出力期間より先に開始するものとする。これにより、位相差検出処理が高速化される。一方、画素加算を行う場合には、撮像素子２００は、第１の実施の形態と同様に通常画素出力期間および位相差画素出力期間のいずれを先に行ってもよい。

図１８は、第２の実施の形態における画素加算が行われる場合の通常画素出力期間内の撮像素子２００の動作の一例を示すタイミングチャートである。

第２の実施の形態の列走査回路２９０は、加算対象の複数の列を同時に選択する。例えば、１行目において、２、４および６列目が加算され、３、５および７列目が加算される場合、列走査回路２９０は、２、４および６列目を同時に選択し、次いで、２、４および６列目を同時に選択する。この結果、各々の加算値が画素値として出力される。

図１９は、第２の実施の形態における位相差画素出力期間内の撮像素子２００の動作の一例を示すタイミングチャートである。第２の実施の形態の行選択信号、転送信号、および、列選択信号の生成のタイミングは、第１の実施の形態と同様である。一方、切替信号は、列走査回路２９０により全てがローレベルに設定される。

なお、撮像素子２００は、全ての列に固定値挿入部２８０を設けているが、図２０に例示するように位相差画素が配置される列にのみ固定値挿入部２８０を設けてもよい。これにより、固定値挿入部２８０を離散的に配置しなくてはならないために撮像素子２００の製造が若干困難となるものの、ハードウェアは削減される。

このように、本技術の第２の実施の形態によれば、撮像素子２００が位相差画素の位置に対応する順番において固定値を挿入することにより、画像処理部１３０は、位相差画素の位置を記憶しておかなくても、位相差画素を補間することができる。

また、画素加算部２８５が所定の位置関係にある複数の画素の画素値を加算することにより、読み出す画素数が少なくなるため、撮像装置１００は、画素加算を行わない場合よりも、撮像開始から画像処理および位相差検出処理の終了までの時間が短縮される。したがって、撮像開始から合焦完了までの時間が短縮され、撮像装置１００の合焦におけるレスポンスを向上させることができる。

＜３．第３の実施の形態＞
［撮像素子の動作例］
図２１は、第３の実施の形態における位相差画素出力期間内の撮像素子２００の動作の一例を示すタイミングチャートである。第３の実施の形態の撮像素子２００は、位相差画素出力期間において、全位相差ラインの走査を２回実行し、１回目の走査において左側画素および右側画素の一方を読み出し、２回目の走査において他方を読み出す点において第１の実施の形態と異なる。具体的には、行走査回路２２０が、位相差画素出力期間内に、全位相差ラインの走査を２回実行する。そして、列走査回路２９０は、１回目の走査において、例えば、左側画素のみを選択し、２回目の走査において、右側画素のみを選択する。

１行目において、１および７列目に左側画素が配置され、３および９列目に右側画素が配置される場合、例えば、１回目の走査において１行目が選択されたときに、列走査回路２９０は、１および７列目等の画素を順に選択する。そして、２回目の走査において１行目が選択されたときに、列走査回路２９０は、３および９列目等の画素を順に選択する。

図２２は、第３の実施の形態における撮像素子２００の動作の一例を示すタイミングチャートである。時刻Ｂ乃至Ｄの位相差画素出力期間は、時刻Ｂ乃至Ｆの期間と、時刻Ｆ乃至Ｄの期間とに分割される。撮像素子２００は、時刻Ｂ乃至Ｆの期間内に、１回目の位相差ラインの走査を行って左側画素のみを出力する。そして、時刻Ｆ乃至Ｄの期間において２回目の位相差ラインの走査を行って右側画素のみを出力する。位相差検出部１４０は、左側画素の出力が完了した時刻Ｆから、位相差検出処理を開始し、左側画素の輝度分布を求める処理等を行う。そして、位相差検出部１４０は、右側画素の出力が完了した時刻Ｄから、右側画素の輝度分布を求める処理等を行う。時刻Ｄの前に位相差検出処理が開始されるため、第３の実施の形態の位相差検出処理の終了時刻Ｅ'は、時刻Ｄから位相差検出処理が開始される第１の実施の形態の修了時刻Ｅよりも早くなる。したがって、位相差検出処理が高速化される。

このように、本技術の第３の実施の形態によれば、撮像素子２００は、位相差画素出力期間内に、左側画素群および右側画素群のいずれかの画素値を先に読み出すことにより、左側画素および右側画素のいずれかの処理を先に実行することができる。これにより、撮像開始から位相差検出処理の終了までの時間が短縮される。したがって、撮像開始から合焦完了までの時間が短縮され、撮像装置１００の合焦におけるレスポンスを向上させることができる。

なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。

なお、本技術は以下のような構成もとることができる。
（１）位相差を検出するための位相差画素を含む複数の画素が配列された複数の位相差ラインと、
前記位相差画素を含まない複数の通常画素が配列された複数の通常ラインと、
第１の期間内に前記複数の位相差ラインおよび前記複数の通常ラインの各々を選択し、前記第１の期間と異なる第２の期間内に前記複数の位相差ラインの各々を選択する行走査部と、
前記第１の期間内に選択されたラインの各々において前記複数の通常画素の画素値を出力し、前記第２の期間内に選択されたラインの各々において前記位相差画素の画素値を出力する列走査部と
を具備する撮像素子。
（２）前記第１の期間内に選択されたラインの各々において前記複数の通常画素の各々を同時に駆動し、前記第２の期間内に選択されたラインの各々において前記位相差画素の各々を同時に駆動する駆動部と、
前記駆動された通常画素または前記駆動された位相差画素の画素値の各々を保持する画素値保持部と
をさらに具備し、
前記列走査部は、前記保持された画素値の各々を所定の順番で出力する
前記（１）記載の撮像素子。
（３）前記列走査部は、前記第１の期間内に前記複数の位相差ラインのいずれかが選択された場合には前記位相差画素の位置に対応する順番において画素の画素値として出力されることのない固定値をさらに出力する
前記（２）記載の撮像素子。
（４）前記第１の期間内に選択されたラインの各々において所定の位置関係にある複数の画素に前記位相差画素が含まれる場合には前記通常画素の画素値と前記固定値とを加算し、前記所定の位置関係にある複数の画素に前記位相差画素が含まれない場合には前記複数の画素の画素値を加算する画素加算部をさらに具備し、
前記列走査部は、前記第１の期間内に選択されたラインの各々において前記加算された値を出力する
前記（３）記載の撮像素子。
（５）前記複数の位相差画素の各々は、瞳分割された一対の光を受光するための一対の位相差画素を含み、
前記行走査部は、前記第２の期間において前記位相差ラインの各々を選択する走査処理を２回実行し、
前記列走査部は、前記第２の期間内の１回目の走査処理で選択されたラインの各々において前記一対の位相差画素のうちの一方の画素値を出力し、前記第２の期間内の２回目の走査処理で選択されたラインの各々において前記一対の位相差画素のうちの他方の画素値を出力する
前記（１）乃至（４）のいずれかに記載の撮像素子。
（６）行走査部が、第１の期間内に、位相差を検出するための位相差画素を含む複数の画素が配列された複数の位相差ラインと前記位相差画素を含まない複数の通常画素が配列された複数の通常ラインとの各々を選択し、前記第１の期間と異なる第２の期間内に前記複数の位相差ラインの各々を選択する行走査手順と、
列走査部が、前記第１の期間内に選択されたラインの各々において前記複数の通常画素の画素値を出力し、前記第２の期間内に選択されたラインの各々において前記位相差画素の画素値を出力する列走査手順と
を具備する撮像素子の制御方法。
（７）位相差を検出するための位相差画素を含む複数の画素が配列された複数の位相差ラインと、前記位相差画素を含まない複数の通常画素が配列された複数の通常ラインと、第１の期間内に前記複数の位相差ラインおよび前記複数の通常ラインの各々を選択し、前記第１の期間と異なる第２の期間内に前記複数の位相差ラインの各々を選択する行走査部と、前記第１の期間内に選択されたラインの各々において前記複数の通常画素の画素値を出力し、前記第２の期間内に選択されたラインの各々において前記位相差画素の画素値を出力する列走査部とを具備する撮像素子と、
前記出力された前記複数の通常画素の画素値から画像を生成する画像処理部と、
前記出力された位相差画素の画素値に基づいて位相差を検出する位相差検出部と
を具備する撮像装置。

１００ 撮像装置
１１０ カメラ制御部
１２０ 撮影レンズ
１３０ 画像処理部
１３１ 画像バッファ
１３２ 位相差画素アドレス記憶部
１３３ 画素補間部
１３４ デモザイク処理部
１３５ 読出画素数カウンタ
１４０ 位相差検出部
１５０ 表示処理部
１６０ 表示部
１７０ 画像出力部
１８０ 画像記録制御部
１９０ 画像記録部
２００ 撮像素子
２１０ タイミング制御回路
２２０ 行走査回路
２２１ 行選択制御回路
２２２、２９３ シフトレジスタ
２２３、２９４ Ｄフリップフロップ
２２４ 行選択回路
２３０ 転送信号生成回路
２３１ 転送制御回路
２３２ 転送クロック信号生成回路
２３３ 出力制御回路
２３４ スイッチ
２４０ 画素アレイ部
２４１ 位相差画素
２４２ 通常画素
２４３ フォトダイオード
２４４ 転送トランジスタ
２４５ リセットトランジスタ
２４６ 浮遊拡散層
２４７ 増幅トランジスタ
２４８ 選択トランジスタ
２５０ Ｄ／Ａ変換部
２６０ Ａ／Ｄ変換部
２６１ Ａ／Ｄ変換回路
２６２ コンパレータ
２６３ メモリ
２７０ カウンタ
２８０ 固定値挿入部
２８１ 固定値記憶部
２８２ セレクタ
２８５ 画素加算部
２９０ 列走査回路
２９１ 列選択制御回路
２９２ 列選択回路
２９５ セレクタ制御部

Claims (14)

1. 位相差を検出するための位相差画素と複数の通常画素とが配列された複数の位相差ラインと、
   複数の通常画素が配列された複数の通常ラインと、
   第１の期間内に前記複数の位相差ラインおよび前記複数の通常ラインの各々に配列された複数の通常画素を選択するとともに、前記第１の期間とは異なる第２の期間内に前記複数の位相差ラインの各々に配列された複数の位相差画素を選択する走査部とを備え、
   前記第２の期間は、前記第１の期間に選択された前記複数の通常画素の出力に基づく画像処理が行われる期間と重複する期間である
   撮像素子。
2. 前記走査部は、前記複数の位相差ライン及び前記複数の通常ラインを選択する行走査部と、前記行走査部で選択されたラインに含まれる画素を選択する列走査部とからなる
   請求項１に記載の撮像素子。
3. 前記第１の期間内に選択された位相差ライン及び通常ラインの各々における前記複数の通常画素の各々を同時に駆動するとともに、前記第２の期間内に選択されたラインの各々における前記複数の位相差画素の各々を同時に駆動する駆動部をさらに備える
   請求項１又は２に記載の撮像素子。
4. 前記駆動された通常画素または前記駆動された位相差画素の画素値を保持する画素値保持部をさらに備える
   請求項３に記載の撮像素子。
5. 前記第１の期間内において、通常画素に基づく画素値と前記位相差画素の画素値に代えて出力される固定値とが出力される
   請求項１乃至４に記載の撮像素子。
6. 前記第１の期間内に選択されたラインの各々において、所定の位置関係にある複数の画素に前記位相差画素が含まれる場合には、前記通常画素の画素値と前記固定値とを加算し、前記所定の位置関係にある複数の画素に前記位相差画素が含まれない場合には、前記複数の画素の画素値を加算する画素加算部をさらに備える
   請求項５記載の撮像素子。
7. 前記複数の位相差画素は、瞳分割された一対の光を受光するための一対の位相差画素を含み、
   前記第２の期間は、一対の期間に分割され、
   前記一対の期間の一方において前記一対の位相差画素のうち一方の位相差画素が選択され、前記一対の期間の他方において前記一対の位相差画素のうち他方の位相差画素が選択される
   請求項１乃至６に記載の撮像素子。
8. 前記第１の期間は、前記第１の期間とは異なる期間に選択された前記複数の位相差画素の画素値の出力に基づく位相差検出処理が行われる期間と重複する期間である
   請求項１乃至７に記載の撮像素子。
9. 位相差を検出するための位相差画素と複数の通常画素とが配列された複数の位相差ラインと、
   複数の通常画素が配列された複数の通常ラインと、
   第１の期間内に前記複数の位相差ラインおよび前記複数の通常ラインの各々に配列された複数の通常画素を選択するとともに、前記第１の期間とは異なる第２の期間内に前記複数の位相差ラインの各々に配列された複数の位相差画素を選択する走査部と、を備える撮像素子と、
   前記撮像素子からの通常画素の出力に基づき画像処理を行う画像処理部とを備え、
   前記第２の期間は、前記第１の期間に選択された前記複数の通常画素の出力に基づく画像処理が行われる期間と重複する期間である
   撮像装置。
10. 前記撮像素子からの位相差画素の出力に基づき位相差検出処理を行う位相差検出部をさらに備える
    請求項９に記載の撮像装置。
11. 前記走査部は、前記複数の位相差ライン及び前記複数の通常ラインを選択する行走査部と、前記行走査部で選択されたラインに含まれる画素を選択する列走査部とからなる
    請求項９または１０に記載の撮像装置。
12. 前記走査部は、前記第１の期間内に前記複数の位相差ラインのいずれかが選択された場合には前記位相差画素の位置に対応する順番において画素の画素値として出力されることのない固定値をさらに出力する
    請求項９乃至１１に記載の撮像装置。
13. 前記複数の位相差画素は、瞳分割された一対の光を受光するための一対の位相差画素を含み、
    前記第２の期間は、一対の期間に分割され、
    前記一対の期間の一方において前記一対の位相差画素のうち一方の位相差画素が選択され、前記一対の期間の他方において前記一対の位相差画素のうち他方の位相差画素が選択される
    請求項９乃至１２に記載の撮像装置。
14. 前記第１の期間は、前記第１の期間とは異なる期間に選択された前記複数の位相差画素の画素値の出力に基づく位相差検出処理が行われる期間と重複する期間である
    請求項９乃至１３に記載の撮像装置。

Images