KR102257897B1 - Apparatus and method for liveness test,and apparatus and method for image processing - Google Patents
Apparatus and method for liveness test,and apparatus and method for image processing Download PDFInfo
- Publication number
- KR102257897B1 KR102257897B1 KR1020140077333A KR20140077333A KR102257897B1 KR 102257897 B1 KR102257897 B1 KR 102257897B1 KR 1020140077333 A KR1020140077333 A KR 1020140077333A KR 20140077333 A KR20140077333 A KR 20140077333A KR 102257897 B1 KR102257897 B1 KR 102257897B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- diffusion
- liveness
- pixels
- input image
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
- G06V40/45—Detection of the body part being alive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Collating Specific Patterns (AREA)
Abstract
라이브니스 검사 방법과 장치, 및 영상 처리 방법과 장치가 개시된다. 일 실시예에 따르면, 입력 영상에 포함된 객체가 평면적 특성 또는 3차원 구조적 특성을 가지는지 여부에 기초하여 객체의 라이브니스가 검사될 수 있다. 다른 실시예에 따르면, 입력 영상으로부터 조명 변화에 강인한 영상이 생성될 수 있다.Disclosed are a liveness test method and apparatus, and an image processing method and apparatus. According to an embodiment, the liveness of the object may be checked based on whether the object included in the input image has a planar characteristic or a 3D structural characteristic. According to another embodiment, an image that is robust against changes in lighting may be generated from the input image.
Description
아래 실시예들은 라이브니스 검사 방법과 장치, 및 영상 처리 방법과 장치에 관한 것이다.
The following embodiments relate to a liveness test method and apparatus, and an image processing method and apparatus.
생체 인식 기술은 사용자 개개인에 고유한 생체 특성을 이용하여 사람을 판별할 수 있다. 그 중에서도 얼굴 인식 시스템은 특정 센서에 접촉하지 않고 자연스럽게 얼굴을 기반으로 사용자를 인식할 수 있다. Biometric recognition technology can identify a person using biometric characteristics unique to each user. Among them, the face recognition system can naturally recognize a user based on a face without contacting a specific sensor.
하지만, 얼굴 인식 시스템은 등록된 대상의 얼굴 사진을 이용한 위장 공격에 취약한 단점이 있다.However, the face recognition system has a disadvantage that is vulnerable to a camouflage attack using a face photograph of a registered target.
얼굴 인식 시스템은 등록된 대상의 얼굴 사진을 이용한 위장 공격에 취약한 단점이 있다.
The face recognition system has a disadvantage that is vulnerable to a camouflage attack using a photograph of a registered target's face.
일 측에 따른 라이브니스 검사 방법은 입력 영상을 수신하는 단계; 및 상기 입력 영상에 포함된 객체가 평면적 특성 또는 3차원 구조적 특성을 가지는지 여부에 기초하여 상기 객체의 라이브니스(liveness)를 검사하는 단계를 포함한다. 여기서, 상기 입력 영상은 단일 영상일 수 있다. 상기 입력 영상에 포함된 객체는 얼굴일 수 있다.The liveness test method according to one side includes receiving an input image; And checking the liveness of the object based on whether the object included in the input image has a planar characteristic or a 3D structural characteristic. Here, the input image may be a single image. The object included in the input image may be a face.
상기 객체가 상기 평면적 특성 또는 3차원 구조적 특성을 가지는지 여부는 상기 객체에 대응하는 복수의 픽셀들에 포함된 빛 에너지의 분포에 기초하여 판단될 수 있다. 상기 객체가 상기 평면적 특성 또는 3차원 구조적 특성을 가지는지 여부는 상기 빛 에너지가 균일하게 분포된 정도에 기초하여 판단될 수 있다.Whether the object has the planar characteristic or the 3D structural characteristic may be determined based on a distribution of light energy included in a plurality of pixels corresponding to the object. Whether the object has the planar characteristic or the 3D structural characteristic may be determined based on the degree to which the light energy is uniformly distributed.
상기 객체가 상기 평면적 특성 또는 3차원 구조적 특성을 가지는지 여부는 상기 복수의 픽셀들의 확산 속도들과 관련된 통계적 정보에 기초하여 판단될 수 있다. 상기 빛 에너지가 균일하게 분포된 정도는 상기 복수의 픽셀들의 확산 속도들과 관련된 통계적 정보에 기초하여 계산될 수 있다. Whether the object has the planar characteristic or the 3D structural characteristic may be determined based on statistical information related to diffusion speeds of the plurality of pixels. The degree to which the light energy is uniformly distributed may be calculated based on statistical information related to diffusion velocities of the plurality of pixels.
상기 복수의 픽셀들의 값들은 확산 방정식(diffusion equation)에 기초하여 반복적으로(iteratively) 갱신되고, 상기 복수의 픽셀들의 확산 속도들은 반복적 갱신 전후의 픽셀 값들의 차이들에 기초하여 계산될 수 있다.The values of the plurality of pixels are iteratively updated based on a diffusion equation, and diffusion speeds of the plurality of pixels may be calculated based on differences between pixel values before and after the iterative update.
상기 확산 속도들과 관련된 통계적 정보는 미리 정해진 제1 임계 값 이상의 확산 속도에 대응하는 픽셀의 수; 상기 제1 임계 값 이상의 확산 속도에 대응하는 픽셀의 분포; 상기 확산 속도들의 크기들에 기초하여 추출된 제1 스케일의 영역에 포함된 잡음 성분의 양, 상기 확산 속도들의 평균, 상기 확산 속도들의 표준편차, 및 상기 확산 속도들에 기초한 필터 응답(filter response) 중 적어도 하나를 포함할 수 있다.Statistical information related to the diffusion rates may include the number of pixels corresponding to a diffusion rate equal to or greater than a first predetermined threshold; A distribution of pixels corresponding to a diffusion rate equal to or greater than the first threshold value; A filter response based on the amount of noise component included in the region of the first scale extracted based on the magnitudes of the spreading speeds, the average of the spreading speeds, the standard deviation of the spreading speeds, and the spreading speeds It may include at least one of.
상기 객체의 라이브니스를 검사하는 단계는 상기 객체가 상기 평면적 특성을 가진다고 판단되는 경우, 검사 실패에 대응하는 신호를 출력하는 단계; 및 상기 객체가 상기 3차원 구조적 특성을 가진다고 판단되는 경우, 검사 성공에 대응하는 신호를 출력하는 단계 중 적어도 하나를 포함할 수 있다.Inspecting the liveness of the object may include outputting a signal corresponding to a test failure when it is determined that the object has the planar characteristic; And when it is determined that the object has the three-dimensional structural characteristic, outputting a signal corresponding to the success of the inspection.
다른 측에 따른 라이브니스 검사 방법은 입력 영상을 수신하는 단계; 상기 입력 영상에 포함된 객체에 대응하는 복수의 픽셀들을 확산시키는 단계; 및 상기 복수의 픽셀들의 확산 속도들에 기초하여 상기 객체의 라이브니스(liveness)를 검사하는 단계를 포함한다.The liveness test method according to the other side includes receiving an input image; Diffusing a plurality of pixels corresponding to an object included in the input image; And checking the liveness of the object based on diffusion velocities of the plurality of pixels.
또 다른 일 측에 따른 영상 처리 방법은 조명 성분 및 비 조명 성분을 포함하는 제1 영상을 수신하는 단계; 상기 제1 영상에 포함된 복수의 픽셀들을 확산시킴으로써, 상기 조명 성분과 관련된 제2 영상을 생성하는 단계; 및 상기 제1 영상 및 상기 제2 영상에 기초하여 상기 비 조명 성분과 관련된 제3 영상을 생성하는 단계를 포함한다.In another aspect, an image processing method includes receiving a first image including an illumination component and a non-illumination component; Generating a second image related to the illumination component by diffusing a plurality of pixels included in the first image; And generating a third image related to the non-illuminated component based on the first image and the second image.
또 다른 일 측에 따른 라이브니스 검사 장치는 입력 영상을 수신하는 수신부; 및 상기 입력 영상에 포함된 객체가 평면적 특성 또는 3차원 구조적 특성을 가지는지 여부에 기초하여 상기 객체의 라이브니스(liveness)를 검사하는 검사부를 포함한다.Another liveness test apparatus includes: a receiver configured to receive an input image; And an inspection unit that checks the liveness of the object based on whether the object included in the input image has a planar characteristic or a 3D structural characteristic.
상기 검사부는 상기 객체에 대응하는 복수의 픽셀들을 확산시키고, 상기 복수의 픽셀들의 확산 속도들에 기초하여 상기 객체가 상기 평면적 특성 또는 3차원 구조적 특성을 가지는지 여부를 판단할 수 있다.The inspection unit may diffuse a plurality of pixels corresponding to the object, and determine whether the object has the planar characteristic or the 3D structural characteristic based on diffusion speeds of the plurality of pixels.
또 다른 일 측에 따른 영상 처리 장치는 조명 성분 및 비 조명 성분을 포함하는 제1 영상을 수신하는 수신부; 상기 제1 영상에 포함된 복수의 픽셀들을 확산시킴으로써, 상기 조명 성분과 관련된 제2 영상을 생성하는 확산부; 및 상기 제1 영상 및 상기 제2 영상에 기초하여 상기 비 조명 성분과 관련된 제3 영상을 생성하는 생성부를 포함한다.
An image processing apparatus according to another aspect includes: a receiver configured to receive a first image including an illumination component and a non-illumination component; A diffusion unit generating a second image related to the illumination component by diffusing a plurality of pixels included in the first image; And a generator configured to generate a third image related to the non-illuminated component based on the first image and the second image.
도 1은 일 실시예에 따른 라이브니스 검사를 설명하는 도면.
도 2는 일 실시예에 따른 라이브니스 검사의 원리를 설명하는 도면.
도 3은 일 실시예에 따른 라이브니스 검사 장치를 나타낸 블록도.
도 4는 일 실시예에 따른 확산 동작을 설명하는 도면.
도 5는 일 실시예에 따른 SR 맵을 설명하는 도면.
도 6은 다른 실시예에 따른 라이브니스 검사 장치를 나타낸 블록도.
도 7은 일 실시예에 따른 영상 처리를 설명하는 도면.
도 8은 일 실시예에 따른 조명에 의해 변하는 입력 영상을 설명하는 도면.
도 9는 일 실시예에 따른 영상 처리 장치를 나타낸 블록도.
도 10은 일 실시예에 따른 라이브니스 검사 방법을 나타낸 동작 흐름도.
도 11은 일 실시예에 따른 영상 처리 방법을 나타낸 동작 흐름도.
도 12는 다른 실시예에 따른 영상 처리 방법을 나타낸 동작 흐름도.1 is a diagram illustrating a liveness test according to an exemplary embodiment.
2 is a diagram illustrating a principle of a liveness test according to an embodiment.
3 is a block diagram showing a liveness test apparatus according to an embodiment.
4 is a diagram illustrating a spreading operation according to an embodiment.
5 is a diagram illustrating an SR map according to an embodiment.
6 is a block diagram showing a liveness test apparatus according to another embodiment.
7 is a diagram illustrating image processing according to an exemplary embodiment.
8 is a diagram illustrating an input image changed by lighting according to an exemplary embodiment.
9 is a block diagram illustrating an image processing apparatus according to an exemplary embodiment.
10 is a flowchart illustrating a liveness test method according to an exemplary embodiment.
11 is a flowchart illustrating an image processing method according to an exemplary embodiment.
12 is a flowchart illustrating an image processing method according to another exemplary embodiment.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다. 하기에서 설명될 실시예들은 스마트 폰, 스마트 TV, 스마트 홈, 스마트 카, 감시 시스템 등 다양한 분야에 적용될 수 있다. 예를 들어, 실시예들은 스마트 폰 등의 로그인을 위하여 입력 영상의 라이브니스(liveness)를 검사하거나, 사용자를 인증하는 기술에 사용될 수 있다. 또한, 실시예들은 공공 장소 또는 보안 장소에서의 출입 통제 및 감시를 위하여 입력 영상의 라이브니스를 검사하거나, 사용자를 인증하는 기술에 사용될 수 있다.
Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. The same reference numerals shown in each drawing indicate the same members. The embodiments to be described below may be applied to various fields such as a smart phone, a smart TV, a smart home, a smart car, and a surveillance system. For example, the embodiments may be used in a technology that checks the liveness of an input image or authenticates a user in order to log in to a smart phone or the like. In addition, the embodiments may be used in a technology for inspecting the liveness of an input image or authenticating a user for access control and monitoring in a public place or a secure place.
일 Work 실시예에In the examples 따른 Follow 라이브니스Live Nice 검사 inspection
도 1은 일 실시예에 따른 라이브니스 검사를 설명하는 도면이다. 라이브니스 검사는 입력 영상에 포함된 객체가 라이브(live)한지 여부를 검사하는 기법으로, 예를 들어 라이브니스 검사는 입력 영상에 포함된 얼굴이 실제 얼굴 등 라이브 객체(live object)인지 또는 사진 등 페이크 객체(fake object)인지 여부를 판단할 수 있다. 라이브니스 검사를 통하여 사진 위조 또는 사진 변조 등으로 타인 얼굴 인증을 시도하는 사례 등이 효과적으로 방지될 수 있다.1 is a diagram illustrating a liveness test according to an exemplary embodiment. Liveness test is a technique to check whether an object included in an input image is live.For example, a liveness test is a live object such as a real face or a photo. Whether it is a fake object or not can be determined. Through the liveness test, cases of attempting to authenticate the face of another person by forgery of a photo or alteration of a photo can be effectively prevented.
도 1을 참조하면, 일 실시예에 따른 라이브니스 검사 장치(110)는 사용자(120)의 얼굴이 포함된 입력 영상을 수신하고, 수신된 입력 영상에 포함된 얼굴의 라이브니스를 검사할 수 있다. 라이브니스 검사 장치(110)는 모바일 폰, 스마트 폰, PDA, 태블릿 컴퓨터, 랩톱 컴퓨터 등 같은 모바일 기기일 수 있다. 또는, 라이브니스 검사 장치(110)는 퍼스널 컴퓨터 등 컴퓨팅 장치, 텔레비전 등 전자 제품, 또는 출입문 통제 등을 위한 보안 장치일 수 있다. 라이브니스 검사 장치(110)는 사용자(120)의 얼굴을 촬영하는 이미지 센서(115)로부터 입력 영상을 수신할 수 있다.Referring to FIG. 1, the
일 예로, 사용자(120)의 실제 얼굴이 촬영됨으로써 입력 영상이 생성될 수 있다. 이 경우, 라이브니스 검사 장치(110)는 입력 영상에 포함된 얼굴이 라이브 객체라고 판단할 수 있다. 라이브니스 검사 장치(110)는 검사 성공에 대응하는 신호를 출력할 수 있다.For example, an input image may be generated by photographing an actual face of the
다른 예로, 사용자(120)의 실제 얼굴이 아닌 디스플레이 매체(125)에 표시된 얼굴이 촬영됨으로써 입력 영상이 생성될 수 있다. 디스플레이 매체(125)는 얼굴 등 객체를 표시하는 매체로, 예를 들어 사용자의 얼굴이 인화된 종이, 사용자의 얼굴이 표시되는 전자 장치 등을 포함할 수 있다. 일 예로, 사용자(120)는 디스플레이 매체(125)에 표시되는 타인의 얼굴을 이미지 센서(115)로 향하게 함으로써, 타인 계정으로 로그인을 시도할 수 있다. 도 1에서 디스플레이 매체(125)에 표시되는 얼굴이 점선으로 표시된 것은 디스플레이 매체(125)에 표시되는 얼굴이 사용자(120) 방향이 아닌 이미지 센서(115) 방향을 향하고 있음을 나타내기 위함이다. 이 경우, 라이브니스 검사 장치(110)는 입력 영상에 포함된 얼굴이 페이크 객체라고 판단할 수 있다. 라이브니스 검사 장치(110)는 검사 실패에 대응하는 신호를 출력할 수 있다.As another example, an input image may be generated by photographing a face displayed on the
라이브니스 검사 장치(110)는 입력 영상으로부터 얼굴 영역을 검출할 수 있다. 이 경우, 실시예들은 입력 영상으로부터 검출된 얼굴 영역에 적용될 수 있다.
The
도 2는 일 실시예에 따른 라이브니스 검사의 원리를 설명하는 도면이다. 일 실시예에 따른 라이브니스 검사 장치는 입력 영상에 포함된 객체가 평면(flat surface)적 특성 또는 3차원 구조(3-dimentional structure)적 특성을 가지는지 여부에 기초하여 객체의 라이브니스를 검사할 수 있다.2 is a diagram illustrating a principle of a liveness test according to an exemplary embodiment. The liveness testing apparatus according to an embodiment may check the liveness of an object based on whether an object included in an input image has a flat surface property or a 3-dimentional structure property. I can.
도 2를 참조하면, 라이브니스 검사 장치는 매체(210)에 표시된 얼굴(211)과 사용자의 실제 얼굴(220)을 구별할 수 있다. 매체(210)에 표시된 얼굴(211)은 2차원 평면에 해당한다. 매체(210)에 표시된 얼굴(211)이 촬영됨으로써 입력 영상이 생성되는 경우, 입력 영상에 포함된 객체는 평면적 특성을 가질 수 있다. 예를 들어, 매체(210)의 표면은 2차원 평면에 해당하므로, 매체(210)에 표시된 얼굴(211)에 입사되는 빛(215)은 매체(210)의 표면에서 균일하게 반사된다. 이로 인하여, 입력 영상의 객체에 빛 에너지가 균일하게 분포될 수 있다. 약간의 굴곡을 가지지만 전반적으로는 평면에 가까운 곡면 디스플레이의 표면도 2차원 평면에 해당될 수 있다.Referring to FIG. 2, the liveness test apparatus may distinguish between a
반면, 사용자의 실제 얼굴(220)은 3차원 구조에 해당한다. 사용자의 실제 얼굴(220)이 촬영됨으로써 입력 영상이 생성되는 경우, 입력 영상에 포함된 객체는 3차원 구조적 특성을 가질 수 있다. 예를 들어, 사용자의 실제 얼굴(220)은 다양한 굴곡을 가지는 3차원 구조에 해당하므로, 사용자의 실제 얼굴(220)에 입사되는 빛(225)은 사용자의 실제 얼굴(220)의 표면에서 불균일하게 반사된다. 이로 인하여, 입력 영상의 객체에 빛 에너지가 불균일하게 분포될 수 있다.On the other hand, the user's
라이브니스 검사 장치는 입력 영상의 객체에 포함된 빛 에너지의 분포에 기초하여 객체의 라이브니스를 검사할 수 있다. 라이브니스 검사 장치는 입력 영상의 객체에 포함된 빛 에너지의 분포를 분석함으로써, 입력 영상의 객체가 평면적 특성 또는 3차원 구조적 특성을 가지는지 여부를 판단할 수 있다. The liveness test apparatus may check the liveness of the object based on the distribution of light energy included in the object of the input image. The liveness test apparatus may determine whether the object of the input image has a planar characteristic or a 3D structural characteristic by analyzing a distribution of light energy included in the object of the input image.
일 예로, 매체(210)에 표시된 얼굴(211)이 촬영됨으로써 입력 영상이 생성될 수 있다. 라이브니스 검사 장치는 입력 영상의 얼굴에 포함된 빛 에너지의 분포를 분석함으로써, 입력 영상의 얼굴이 평면적 특성을 가진다고 판단할 수 있다. 라이브니스 검사 장치는 입력 영상의 얼굴이 페이크 객체라고 판단하고, 검사 실패에 대응하는 신호를 출력할 수 있다.For example, an input image may be generated by photographing a
다른 예로, 사용자의 실제 얼굴(220)이 촬영됨으로써 입력 영상이 생성될 수 있다. 라이브니스 검사 장치는 입력 영상의 얼굴에 포함된 빛 에너지의 분포를 분석함으로써, 입력 영상의 얼굴이 3차원 구조적 특성을 가진다고 판단할 수 있다. 라이브니스 검사 장치는 입력 영상의 얼굴이 라이브 객체라고 판단하고, 검사 성공에 대응하는 신호를 출력할 수 있다.As another example, an input image may be generated by photographing the
라이브니스 검사 장치는 입력 영상의 객체에 포함된 빛 에너지가 균일하게 분포된 정도에 기초하여 객체의 라이브니스를 판단할 수 있다. 일 예로, 매체(210)에 표시된 얼굴(211)에 입사되는 빛은 균일하게 반사되므로, 입력 영상의 얼굴에 포함되는 빛 에너지가 균일하게 분포될 수 있다. 라이브니스 검사 장치는 입력 영상의 얼굴에 포함된 빛 에너지가 균일하게 분포된 정도가 미리 정해진 임계 균일도 이상인 경우, 입력 영상의 얼굴이 평면적 특성을 가진다고 판단할 수 있다. 라이브니스 검사 장치는 입력 영상의 얼굴이 페이크 객체라고 판단하고, 검사 실패에 대응하는 신호를 출력할 수 있다.The liveness test apparatus may determine the liveness of the object based on the degree of uniform distribution of light energy included in the object of the input image. For example, since light incident on the
다른 예로, 사용자의 실제 얼굴(220)에 입사되는 빛은 불균일하게 반사되므로, 입력 영상의 얼굴에 포함되는 빛 에너지가 불균일하게 분포될 수 있다. 라이브니스 검사 장치는 입력 영상의 얼굴에 포함된 빛 에너지가 균일하게 분포된 정도가 미리 정해진 임계 균일도 미만인 경우, 입력 영상의 얼굴이 3차원 구조적 특성을 가진다고 판단할 수 있다. 라이브니스 검사 장치는 입력 영상의 얼굴이 라이브 객체라고 판단하고, 검사 성공에 대응하는 신호를 출력할 수 있다.As another example, since light incident on the user's
라이브니스 검사 장치는 단일 입력 영상을 이용하여 객체의 라이브니스를 검사할 수 있다. 여기서, 단일 입력 영상은 단일 사진, 단일 이미지, 또는 단일 프레임의 정지 영상일 수 있다. 예를 들어, 라이브니스 검사 장치는 단일 입력 영상에 포함된 객체가 평면적 특성 또는 3차원 구조적 특성을 가지는지 여부를 판단함으로써, 객체의 라이브니스를 검사할 수 있다. 라이브니스 검사 장치는 단일 입력 영상의 객체에 포함된 빛 에너지가 균일하게 분포된 정도를 계산함으로써, 객체의 라이브니스를 검사할 수 있다.The liveness test apparatus may test the liveness of an object using a single input image. Here, the single input image may be a single photo, a single image, or a single frame still image. For example, the liveness testing apparatus may check the liveness of the object by determining whether an object included in a single input image has a planar characteristic or a 3D structural characteristic. The liveness test apparatus may check the liveness of the object by calculating the degree of uniform distribution of light energy included in the object of a single input image.
도 3은 일 실시예에 따른 라이브니스 검사 장치를 나타낸 블록도이다. 도 3을 참조하면, 일 실시예에 따른 라이브니스 검사 장치(310)는 수신부(311)와 검사부(312)를 포함한다. 수신부(311)는 입력 영상을 수신할 수 있다. 수신부(311)는 이미지 센서로부터 생성된 입력 영상을 수신할 수 있다. 수신부(311)는 이미지 센서와 유선 또는 무선으로 연결되거나, 네트워크를 통하여 연결될 수 있다. 수신부(311)는 메인 메모리, 캐시 메모리, 하드 디스크 드라이브, 솔리드 스테이트 드라이브, 플래시 메모리 디바이스, 네트워크 드라이브 등의 저장 장치로부터 입력 영상을 수신할 수도 있다.3 is a block diagram illustrating a liveness test apparatus according to an exemplary embodiment. Referring to FIG. 3, a
검사부(312)는 입력 영상에 포함된 객체의 라이브니스를 검사할 수 있다. 예를 들어, 검사부(312)는 입력 영상에 포함된 객체가 평면적 특성 또는 3차원 구조적 특성을 가지는지 여부를 판단함으로써, 객체의 라이브니스를 검사할 수 있다. 검사부(312)는 입력 영상의 객체에 포함된 빛 에너지의 분포를 분석함으로써, 객체의 라이브니스를 검사할 수 있다. 예를 들어, 검사부(312)는 입력 영상의 객체에 포함된 빛 에너지가 균일하게 분포된 정도를 계산함으로써, 객체의 라이브니스를 검사할 수 있다.The
검사부(312)는 입력 영상의 객체에 대응하는 복수의 픽셀들에 포함된 빛 에너지의 분포를 분석하기 위하여, 입력 영상의 객체에 대응하는 복수의 픽셀들을 확산시킬 수 있다. 확산 동작과 관련된 보다 상세한 사항은 도 4를 참조하여 후술한다.The
도 4는 일 실시예에 따른 확산 동작을 설명하는 도면이다. 일 실시예에 따른 라이브니스 검사 장치는 입력 영상의 객체에 대응하는 복수의 픽셀들을 확산시킬 수 있다. 라이브니스 검사 장치는 확산 방정식(diffusion equation)을 이용하여 복수의 픽셀들의 값들을 반복적으로 갱신할 수 있다. 예를 들어, 라이브니스 검사 장치는 수학식 1을 이용하여 입력 영상의 객체에 대응하는 복수의 픽셀들을 확산시킬 수 있다.4 is a diagram illustrating a spreading operation according to an embodiment. The liveness test apparatus according to an embodiment may diffuse a plurality of pixels corresponding to an object of an input image. The liveness inspection apparatus may repeatedly update values of a plurality of pixels using a diffusion equation. For example, the liveness test apparatus may diffuse a plurality of pixels corresponding to the object of the input image by using Equation 1.
여기서, k는 반복 횟수이고, uk는 k번째 반복 이후 픽셀의 값이며, uk +1은 k+1번째 반복 이후 픽셀의 값이다. u0은 입력 영상의 픽셀의 값일 수 있다. ∇는 그레디언트 연산자(gradient operator)이고, div()는 발산 함수(divergence function)이다. Here, k is the number of repetitions, u k is the value of the pixel after the kth repetition, and u k +1 is the value of the pixel after the k+1th repetition. u 0 may be a value of a pixel of an input image. ∇ is the gradient operator, and div() is the divergence function.
d()는 확산 함수(diffusivity function)이다. 확산 함수는 미리 정해질 수 있다. 예를 들어, 라이브니스 검사 장치는 확산 함수를 수학식 2로 정의할 수 있다.d() is the diffusivity function. The spreading function can be predetermined. For example, the liveness test apparatus may define the diffusion function as Equation 2.
여기서, β는 스몰 파지티브 넘버(small positive number)일 수 있다. 수학식 2와 같이 정의되는 확산 함수를 사용하는 경우, 확산 동작 중 객체의 경계(boundary)가 잘 보존될 수 있다. 수학식 2와 같이 확산 함수가 ∇u의 함수인 경우, 확산 방정식은 비선형(non-linear)일 수 있다.Here, β may be a small positive number. When the spreading function defined as in Equation 2 is used, the boundary of the object can be well preserved during the spreading operation. When the diffusion function is a function of ∇u as shown in Equation 2, the diffusion equation may be non-linear.
라이브니스 검사 장치는 수학식 1을 풀이하기 위하여, 가산 연산자 분할(additive operator splitting, AOS) 기법을 적용할 수 있다. 예를 들어, 라이브니스 검사 장치는 수학식 3을 이용하여 입력 영상의 객체에 대응하는 복수의 픽셀들을 확산시킬 수 있다.In order to solve Equation 1, the liveness test apparatus may apply an additive operator splitting (AOS) technique. For example, the liveness test apparatus may diffuse a plurality of pixels corresponding to the object of the input image by using Equation (3).
여기서, I는 입력 영상의 픽셀의 값이고, Ax는 수평 방향으로의 확산 매트릭스이며, Ay는 수직 방향으로의 확산 매트릭스이다. τ는 타임 스텝일 수 있다. 최종 반복 횟수 L과 타임 스텝 τ는 미리 정해질 수 있다. 일반적으로, 타임 스텝 τ가 작게 설정되고, 최종 반복 횟수 L이 크게 설정되는 경우, 최종적으로 확산된 픽셀의 값 uL의 신뢰도가 높아질 수 있다.Here, I is the pixel value of the input image, A x is a diffusion matrix in the horizontal direction, and A y is a diffusion matrix in the vertical direction. τ may be a time step. The final repetition number L and the time step τ may be predetermined. In general, when the time step τ is set to be small and the number of final repetitions L is set to be large, the reliability of the finally diffused pixel value u L may be increased.
라이브니스 검사 장치는 수학식 1을 풀이하기 위하여 가산 연산자 분할 기법을 이용함으로써, 최종 반복 횟수 L을 감소시킬 수 있다. 가산 연산자 분할 기법을 이용하는 경우, 임의의 크기의 타임 스텝 τ를 이용하더라도 최종적으로 확산된 픽셀의 값 uL의 신뢰도가 높기 때문이다. 라이브니스 검사 장치는 확산 방정식을 풀이하기 위하여 가산 연산자 분할 기법을 이용함으로써, 확산 동작을 위한 연산의 효율성을 향상시킬 수 있다. 라이브니스 검사 장치는 적은 프로세서 자원 및 적은 메모리 자원을 이용하여 확산 동작을 수행할 수 있다.The liveness test apparatus may reduce the number of final repetitions L by using an addition operator division technique to solve Equation 1. This is because, in the case of using the addition operator division technique, the reliability of the finally diffused pixel value u L is high even when a time step τ of an arbitrary size is used. The liveness test apparatus may improve the efficiency of an operation for a diffusion operation by using an addition operator division technique to solve a diffusion equation. The liveness test apparatus may perform a spreading operation using less processor resources and less memory resources.
라이브니스 검사 장치는 확산 방정식을 풀이하기 위하여 가산 연산자 분할 기법을 이용함으로써, 입력 영상의 텍스처를 효과적으로 보존할 수 있다. 라이브니스 검사 장치는 저조도 및 역광 환경에서도 입력 영상의 원본 텍스처를 효과적으로 보존할 수 있다.The liveness test apparatus can effectively preserve the texture of the input image by using the addition operator segmentation technique to solve the diffusion equation. The liveness inspection apparatus can effectively preserve the original texture of the input image even in low-light and backlight environments.
도 4를 참조하면, 영상(410)은 입력 영상이고, 영상(420)은 중간 확산 영상이며, 영상(430)은 최종 확산 영상이다. 예를 들어, 최종 반복 횟수 L은 20으로 설정될 수 있다. 영상(420)은 입력 영상에 포함된 픽셀들의 값들이 수학식 3에 의하여 5번 반복 갱신된 결과 도출된 영상일 수 있다. 영상(430)은 입력 영상에 포함된 픽셀들의 값들이 수학식 3에 의하여 20번 반복 갱신된 결과 도출된 영상일 수 있다.Referring to FIG. 4, an
라이브니스 검사 장치는 입력 영상에 포함된 객체가 평면적 특성 또는 3차원 구조적 특성을 가지는지 여부를 판단하기 위하여, 확산 속도를 이용할 수 있다. 확산 속도는 각각의 픽셀의 값이 확산되는 속도로, 예를 들어 확산 속도는 수학식 4와 같이 정의될 수 있다.The liveness test apparatus may use a diffusion rate to determine whether an object included in an input image has a planar characteristic or a 3D structural characteristic. The diffusion rate is a rate at which each pixel value is diffused, and for example, the diffusion rate may be defined as in Equation 4 below.
여기서, s(x, y)는 (x, y) 좌표의 픽셀의 확산 속도이고, u0(x, y)는 입력 영상에 포함된 (x, y) 좌표의 픽셀의 값이며, uL(x, y)는 최종 확산 영상에 포함된 (x, y) 좌표의 픽셀의 값이다. 확산 전후의 픽셀의 값의 차이가 클수록 확산 속도는 크게 계산되고, 확산 전후의 픽셀의 값의 차이가 작을수록 확산 속도는 작게 계산될 수 있다. Here, s(x, y) is the diffusion rate of the pixel at the (x, y) coordinate, u 0 (x, y) is the value of the pixel at the (x, y) coordinate included in the input image, and u L ( x, y) is the value of a pixel of (x, y) coordinates included in the final diffuse image. As the difference between the values of the pixels before and after diffusion increases, the diffusion speed may be calculated larger, and the smaller the difference between the values of the pixels before and after diffusion increases, the smaller the diffusion rate may be calculated.
일 실시예에 따르면, 얼굴 영상은 스몰 스케일의 영역과 라지 스케일의 영역으로 분류될 수 있다. 예를 들어, 스몰 스케일의 영역은 눈, 눈썹, 코, 입 등 특징 점 또는 특징 선이 존재하는 영역일 수 있다. 라지 스케일의 영역은 이마, 볼 등 피부가 넓게 차지하는 영역일 수 있다.According to an embodiment, the face image may be classified into a small-scale area and a large-scale area. For example, the small-scale area may be an area in which feature points or feature lines, such as eyes, eyebrows, nose, and mouth, exist. The large-scale area may be an area widely occupied by the skin, such as forehead and cheeks.
스몰 스케일의 영역에 속하는 픽셀들의 확산 속도는 라지 스케일의 영역에 속하는 픽셀들의 확산 속도보다 크다. 예를 들어, 영상(410)의 안경테에 해당하는 픽셀(411)은 피부에 해당하는 주변 픽셀들과 상이하므로, 확산에 의하여 값이 크게 변할 수 있다. 영상(410)의 픽셀(411)의 값은 확산으로 인하여 영상(430)의 픽셀(431)의 값으로 갱신될 수 있다. 반면, 영상(410)의 볼에 해당하는 픽셀(412)은 주변 픽셀들과 유사하므로, 확산에 의하여 값이 작게 변할 수 있다. 영상(410)의 픽셀(412)의 값은 확산으로 인하여 영상(430)의 픽셀(432)의 값으로 갱신될 수 있다.The diffusion speed of pixels belonging to the small-scale region is greater than that of the pixels belonging to the large scale region. For example, since the
확산 속도의 차이는 영상 내 빛 에너지의 분포에 기인할 수 있다. 예를 들어, 영상 내 빛 에너지가 균일하게 분포되는 경우 확산 속도가 작게 계산될 수 있다. 빛 에너지가 균일하게 분포되는 경우, 주변 픽셀들 사이 픽셀 값이 유사할 가능성이 높기 때문이다. 반면, 영상 내 빛 에너지가 불균일하게 분포되는 경우 확산 속도가 크게 계산될 수 있다. 빛 에너지가 불균일하게 분포되는 경우, 주변 픽셀들 사이 픽셀 값이 상이할 가능성이 높기 때문이다.The difference in diffusion rate may be due to the distribution of light energy in the image. For example, when the light energy in the image is uniformly distributed, the diffusion rate may be calculated to be small. This is because if the light energy is uniformly distributed, there is a high possibility that pixel values are similar between neighboring pixels. On the other hand, when the light energy in the image is unevenly distributed, the diffusion rate can be largely calculated. This is because if the light energy is unevenly distributed, there is a high possibility that pixel values differ between neighboring pixels.
라이브니스 검사 장치는 확산 속도들과 관련된 통계적 정보에 기초하여 영상 내 빛 에너지가 균일하게 분포되는 정도를 계산할 수 있다. 라이브니스 검사 장치는 확산 속도들과 관련된 통계적 정보에 기초하여 영상 내 객체의 라이브니스를 검사할 수 있다. 예를 들어, 라이브니스 검사 장치는 확산 속도들과 관련된 통계적 정보를 계산하기 위하여, 수학식 5를 이용하여 스몰 스케일의 영역을 추출할 수 있다.The liveness test apparatus may calculate a degree to which light energy is uniformly distributed in an image based on statistical information related to diffusion velocities. The liveness test apparatus may check the liveness of an object in an image based on statistical information related to diffusion rates. For example, the liveness test apparatus may extract a small-scale region using Equation 5 in order to calculate statistical information related to spreading velocities.
여기서, SR(x, y)는 (x, y) 좌표의 픽셀이 스몰 스케일의 영역에 속하는지 여부를 지시하는 지시자(indicator)이다. 예를 들어, SR(x, y)의 값이 1인 경우 (x, y) 좌표의 픽셀은 스몰 스케일의 영역에 속하고, SR(x, y)의 값이 0인 경우 (x, y) 좌표의 픽셀은 스몰 스케일의 영역에 속하지 않을 수 있다.Here, SR(x, y) is an indicator indicating whether the pixel of the (x, y) coordinate belongs to the small scale area. For example, when the value of SR(x, y) is 1, the pixel of the (x, y) coordinate belongs to the small scale area, and when the value of SR(x, y) is 0, (x, y) The coordinate pixel may not belong to the small scale area.
SR(x, y)의 값은 확산 속도에 기초하여 결정될 수 있다. 예를 들어, s(x, y)가 미리 정해진 임계 값보다 크면 SR(x, y)의 값은 1로 결정되고, 그 밖의 경우 SR(x, y)의 값은 0으로 결정될 수 있다. 미리 정해진 임계 값은 전체 영상의 평균 μ과 전체 영상의 표준편차 σ에 기초하여 설정될 수 있다. 전체 영상의 평균 μ는 전체 영상에 포함된 픽셀들의 확산 속도들의 평균이고, 전체 영상의 표준편차 σ는 전체 영상에 포함된 픽셀들의 확산 속도들의 표준편차일 수 있다.The value of SR(x, y) may be determined based on the diffusion rate. For example, if s(x, y) is greater than a predetermined threshold value, the value of SR(x, y) may be determined as 1, and in other cases, the value of SR(x, y) may be determined as 0. The predetermined threshold may be set based on an average μ of all images and a standard deviation σ of all images. The average μ of the entire image may be an average of diffusion rates of pixels included in the entire image, and the standard deviation σ of the entire image may be a standard deviation of diffusion rates of pixels included in the entire image.
이하, (x, y) 좌표의 픽셀의 값이 SR(x, y)인 영상은 SR 맵(SR map)이라고 지칭될 수 있다. SR 맵에 포함된 각각의 픽셀들은 0 또는 1의 값을 가지므로, SR 맵은 이진화 맵(binary map)이라고 지칭될 수 있다. SR 맵은 다양한 조명 환경에서 얼굴 내 기저 구조(underlying structure)를 효과적으로 표현할 수 있다.Hereinafter, an image in which the pixel value of the (x, y) coordinate is SR(x, y) may be referred to as an SR map. Since each pixel included in the SR map has a value of 0 or 1, the SR map may be referred to as a binary map. The SR map can effectively express the underlying structure in the face in various lighting environments.
도 5는 일 실시예에 따른 SR 맵을 설명하는 도면이다. 도 5를 참조하면, 일 실시예에 따라 사용자의 얼굴이 표시된 매체가 촬영된 경우의 SR 맵(510)과 동일 사용자의 실제 얼굴이 촬영된 경우의 SR 맵(520)은 상이하다. SR 맵(510)과 SR 맵(520)에서 검은 색으로 표시된 부분은 SR(x, y)=1에 해당하는 픽셀들에 해당하고, 흰 색으로 표시된 부분은 SR(x, y)=0에 해당하는 픽셀들에 해당한다. 이 경우, SR 맵(510)과 SR 맵(520)에서 검은 색으로 표시된 부분은 확산 속도가 상대적으로 빠른 부분이고, 흰 색으로 표시된 부분은 확산 속도가 상대적으로 느린 부분에 해당할 수 있다.5 is a diagram illustrating an SR map according to an embodiment. Referring to FIG. 5, according to an embodiment, an
라이브니스 검사 장치는 SR 맵을 분석함으로써, 영상 내 얼굴의 라이브니스를 검사할 수 있다. 라이브니스 검사 장치는 SR 맵으로부터 다양한 특징들을 추출함으로써, 영상 내 얼굴의 라이브니스를 검사할 수 있다.The liveness test apparatus may check the liveness of the face in the image by analyzing the SR map. The liveness inspection apparatus may inspect the liveness of a face in an image by extracting various features from the SR map.
사용자의 실제 얼굴이 촬영된 경우 사용자의 실제 얼굴의 굴곡에 의하여 다양한 빛 반사가 발생될 수 있다. 영상 내 빛 에너지가 불균일하게 분포되는 경우, SR 맵에 픽셀 값이 1인 픽셀들이 많이 포함될 수 있다. 라이브니스 검사 장치는 수학식 6에 기초하여, 영상 내 얼굴의 라이브니스를 판단할 수 있다.When the user's real face is photographed, various light reflections may occur due to the curvature of the user's real face. When light energy in an image is non-uniformly distributed, many pixels having a pixel value of 1 may be included in the SR map. The liveness test apparatus may determine the liveness of the face in the image based on Equation (6).
여기서, N(SR(x, y)=1)은 SR(x, y)=1을 만족하는 픽셀의 수를 나타내고, ξ는 임계 값으로, ξ의 값은 미리 설정될 수 있다. 라이브니스 검사 장치는 
또한, 영상 내 빛 에너지가 불균일하게 분포되는 경우, SR 맵에 잡음 성분이 많이 포함될 수 있다. 라이브니스 검사 장치는 수학식 7에 기초하여 영상 내 얼굴의 라이브니스를 판단할 수 있다.In addition, when the light energy in the image is non-uniformly distributed, a large number of noise components may be included in the SR map. The liveness test apparatus may determine the liveness of the face in the image based on Equation 7.
여기서, SRM(x, y)는 SR 맵에 미디언 필터링(median filtering)을 적용한 영상의 (x, y) 좌표의 픽셀 값이다. ξ는 임계 값으로, ξ의 값은 미리 설정될 수 있다. 잡음 성분이 많을수록 SR(x, y)의 값과 SRM(x, y)의 값이 상이한 픽셀의 수가 많아지므로, 
수학식 6과 수학식 7은 예시적인 사항들에 해당하며, 라이브니스 검사 장치는 그 밖의 다양한 확산 속도 기반 통계적 정보를 이용하여 영상 내 객체의 라이브니스를 검사할 수 있다. 예를 들어, 라이브니스 검사 장치는 미리 정해진 임계 값 이상의 확산 속도에 대응하는 픽셀의 분포(distribution) 등을 이용할 수 있다. Equations 6 and 7 correspond to exemplary items, and the liveness test apparatus may check the liveness of an object in the image using statistical information based on various other diffusion rates. For example, the liveness inspection apparatus may use a distribution of pixels corresponding to a diffusion rate equal to or higher than a predetermined threshold value.
또는, 라이브니스 검사 장치는 SR 맵을 이용하지 않는 확산 속도 기반 통계적 정보를 이용할 수도 있다. 예를 들어, 라이브니스 검사 장치는 모든 픽셀들의 확산 속도들 각각의 값, 모든 픽셀들의 확산 속도들의 평균, 모든 픽셀들의 확산 속도들의 표준 편차 등을 이용할 수 있다. 또는, 라이브니스 검사 장치는 확산 속도들에 기초한 필터 응답(filter response)를 이용할 수도 있다. 예를 들어, 라이브니스 검사 장치는 모든 픽셀들의 확산 속도들에 미디언 필터링(median filtering)을 적용한 결과를 이용할 수 있다.Alternatively, the liveness test apparatus may use statistical information based on a spreading rate that does not use an SR map. For example, the liveness inspection apparatus may use a value of each of the diffusion rates of all pixels, an average of diffusion rates of all pixels, a standard deviation of diffusion rates of all pixels, and the like. Alternatively, the liveness test apparatus may use a filter response based on diffusion rates. For example, the liveness inspection apparatus may use a result of applying median filtering to diffusion velocities of all pixels.
라이브니스 검사 장치는 확산 속도 기반 통계적 정보를 기반으로 다양한 특징을 추출하고, 추출된 특징을 학습시킬 수 있다. 예를 들어, 라이브니스 검사 장치는 학습 단계에서 다양한 트레이닝 영상들로부터 확산 속도 기반 통계적 정보를 계산하고, 통계적 정보로부터 추출된 특징을 이용하여 분류기(classifier)를 학습시킬 수 있다. 트레이닝 영상들은 라이브 객체를 포함하는 영상들 및 페이크 객체를 포함하는 영상들로 구성될 수 있다.The liveness test apparatus may extract various features based on statistical information based on a spreading rate, and learn the extracted features. For example, the liveness test apparatus may calculate diffusion rate-based statistical information from various training images in the learning step, and train a classifier using features extracted from the statistical information. The training images may be composed of images including a live object and images including a fake object.
간단한 구조의 분류기는 유클리디언 거리(Euclidian distance) 등 벡터 사이 거리, 또는 정규화된 상관성(normalized correlation) 등 유사도를 구하고, 벡터 사이 거리나 유사도를 문턱치와 비교할 수 있다. 좀더 정교한 분류기로서 신경망이나 베이지안 분류기(Bayesian classifier), SVM(Support Vector Machine) 학습 분류기, 에이다부스트(Adaboost) 학습 분류기 등이 이용될 수 있다.A classifier with a simple structure can obtain a distance between vectors, such as a Euclidian distance, or a degree of similarity, such as a normalized correlation, and compare the distance or similarity between vectors with a threshold. As a more sophisticated classifier, a neural network, a Bayesian classifier, a Support Vector Machine (SVM) learning classifier, or an Adaboost learning classifier may be used.
라이브니스 검사 장치는 입력 영상으로부터 확산 속도 기반 통계적 정보를 계산하고, 통계적 정보로부터 미리 정해진 방식으로 특징을 추출할 수 있다. 미리 정해진 방식은 학습 단계에서 이용된 방식일 수 있다. 라이브니스 검사 장치는 추출된 특징과 학습된 파라미터를 분류기에 입력함으로써, 입력 영상에 포함된 객체의 라이브니스를 검사할 수 있다. 분류기는 추출된 특징과 학습된 파라미터에 기초하여 입력 영상에 포함된 객체가 라이브 객체인지, 혹은 페이크 객체인지 여부를 지시하는 신호를 출력할 수 있다.The liveness test apparatus may calculate spread rate-based statistical information from the input image and extract features from the statistical information in a predetermined manner. The predetermined method may be a method used in the learning step. The liveness test apparatus may check the liveness of an object included in the input image by inputting the extracted features and learned parameters to the classifier. The classifier may output a signal indicating whether an object included in the input image is a live object or a fake object based on the extracted features and learned parameters.
도 6은 다른 실시예에 따른 라이브니스 검사 장치를 나타낸 블록도이다. 도 6을 참조하면, 라이브니스 검사 장치(600)는 수신부(611), 확산부(612), 및 검사부(613)를 포함한다. 수신부(611)는 입력 영상을 수신한다. 수신부(611)는 도 3의 수신부(311)에 대응할 수 있다.6 is a block diagram showing a liveness test apparatus according to another embodiment. Referring to FIG. 6, the
확산부(612)는 입력 영상에 포함된 객체에 대응하는 복수의 픽셀들을 확산시킬 수 있다. 확산부(612)는 확산 방정식에 기초하여 입력 영상에 포함된 객체에 대응하는 복수의 픽셀들의 값들을 반복적으로 갱신할 수 있다. 예를 들어, 확산부(612)는 수학식 1을 이용하여 입력 영상에 포함된 객체에 대응하는 복수의 픽셀들을 확산시킬 수 있다.The
확산부(612)는 확산 방정식에 가산 연산자 분할 기법을 적용함으로써, 입력 영상에 포함된 객체에 대응하는 복수의 픽셀들의 값들을 반복적으로 갱신할 수 있다. 예를 들어, 확산부(612)는 수학식 3을 이용하여 입력 영상에 포함된 객체에 대응하는 복수의 픽셀들을 확산시킬 수 있다. 확산부(612)는 복수의 픽셀들이 확산되어 생성되는 확산 영상(diffusion image)을 출력할 수 있다.The
검사부(613)는 복수의 픽셀들의 확산 속도들에 기초하여 입력 영상에 포함된 객체의 라이브니스를 검사할 수 있다. 일 예로, 검사부(613)는 객체의 라이브니스를 검사하기 위하여, 확산 속도들에 기초하여 객체와 관련된 표면 특성(surface property)를 추정할 수 있다. 표면 특성은 객체의 표면과 관련된 특성으로, 예를 들어 객체의 표면의 빛 반사 성질, 객체의 표면의 차원 수, 객체의 표면의 재질 등을 포함할 수 있다.The
검사부(613)는 입력 영상에 포함된 객체와 관련된 표면 특성을 추정하기 위하여, 입력 영상에 포함된 빛 에너지의 분포를 분석할 수 있다. 예를 들어, 검사부(613)는 입력 영상에 포함된 빛 에너지의 분포를 분석함으로써, 입력 영상에 포함된 객체가 2차원 평면 등 얼굴을 표시하는 매체의 표면 특성을 가지는지 혹은 3차원 구조 등 사용자의 실제 얼굴의 표면 특성을 가지는지 여부를 판단할 수 있다. The
입력 영상에 포함된 객체가 2차원 평면 등 얼굴을 표시하는 매체의 표면 특성을 가진다고 판단되는 경우, 검사부(613)는 검사 실패에 대응하는 신호를 출력할 수 있다. 또는, 입력 영상에 포함된 객체가 3차원 구조 등 사용자의 실제 얼굴의 표면 특성을 가진다고 판단되는 경우, 검사부(613)는 검사 성공에 대응하는 신호를 출력할 수 있다.When it is determined that the object included in the input image has a surface characteristic of a medium displaying a face, such as a 2D plane, the
다른 예로, 검사부(613)는 객체의 라이브니스를 검사하기 위하여, 확산 속도들과 관련된 통계적 정보를 계산할 수 있다. 예를 들어, 2차원 객체와 3차원 객체는 빛을 반사시키는 성질이 상이하다. 2차원 객체와 3차원 객체 사이에 상이한 빛 반사 성질은 확산 속도를 이용하여 모델링될 수 있다.As another example, the
검사부(613)는 입력 영상과 확산 영상을 이용하여 확산 속도를 계산할 수 있다. 예를 들어, 검사부(613)는 수학식 4를 이용하여 픽셀들 각각의 확산 속도를 계산할 수 있다. 검사부(613)는 확산 속도들과 관련된 통계적 정보를 계산하기 위하여, 수학식 5를 이용하여 스몰 스케일의 영역을 추출할 수 있다. 추출된 스몰 스케일의 영역은 SR 맵으로 표현될 수 있다. 검사부(613)는 수학식 6 또는 수학식 7을 이용하여 입력 영상 내 객체의 라이브니스를 판단할 수 있다.The
검사부(613)는 그 밖의 다양한 확산 속도 기반 통계적 정보를 이용하여 입력 영상 내 객체의 라이브니스를 검사할 수 있다. 예를 들어, 검사부(613)는 미리 정해진 임계 값 이상의 확산 속도에 대응하는 픽셀의 분포(distribution) 등을 이용할 수 있다. 또한, 검사부(613)는 SR 맵을 이용하지 않는 확산 속도 기반 통계적 정보를 이용할 수도 있다.The
검사부(613)는 통계적 정보가 얼굴을 표시하는 매체와 관련된 통계적 정보에 대응하는 경우 검사 실패에 대응하는 신호를 출력할 수 있다. 또는, 검사부(613)는 통계적 정보가 사용자의 실제 얼굴과 관련된 통계적 정보에 대응하는 경우 검사 성공에 대응하는 신호를 출력할 수 있다.When the statistical information corresponds to statistical information related to a medium displaying a face, the
라이브니스 검사 장치(600)는 단일 입력 영상을 이용하여 객체의 라이브니스를 검사할 수 있다. 여기서, 단일 입력 영상은 단일 사진, 단일 이미지, 또는 단일 프레임의 정지 영상일 수 있다.
The
일 Work 실시예에In the example 따른 영상 처리 Image processing according to
도 7은 일 실시예에 따른 영상 처리(image processing)를 설명하는 도면이다. 도 7을 참조하면, 일 실시예에 따른 입력 영상(710)은 사용자의 얼굴을 포함한다. 입력 영상(710)에 포함된 사용자의 얼굴은 조명에 의하여 크게 영향을 받을 수 있다. 예를 들어, 도 8을 참조하면, 동일한 사람의 얼굴을 촬영하더라도 조명에 따라 생성되는 영상이 크게 달라질 수 있다. 이처럼 조명의 변화에 취약한 입력 영상을 이용하는 경우, 얼굴 인식 및/또는 사용자 인증의 신뢰도가 크게 낮아지거나, 연산 복잡도가 크게 증가할 수 있다.7 is a diagram illustrating image processing according to an exemplary embodiment. Referring to FIG. 7, an
일 실시예에 따른 영상 처리 장치는 입력 영상으로부터 조명의 변화에 강인한 영상을 생성할 수 있다. 실시예들은 조명의 변화에 강인한 영상을 생성함으로써, 얼굴 인식 및/또는 사용자 인증의 신뢰도를 향상시키거나, 얼굴 인식 및/또는 사용자 인증의 연산 복잡도를 감소시키는 기술을 제공할 수 있다.The image processing apparatus according to an embodiment may generate an image robust to a change in lighting from an input image. The embodiments may provide a technique for improving the reliability of face recognition and/or user authentication, or reducing the computational complexity of face recognition and/or user authentication by generating an image that is robust to changes in lighting.
입력 영상(710)은 조명 성분(715) 및 비 조명 성분을 포함할 수 있다. 조명 성분(715)은 픽셀 값들을 구성하는 성분들 중 외부 조명에 의하여 영향을 받는 성분일 수 있다. 비 조명 성분은 픽셀 값들을 구성하는 성분들 중 외부 조명에 의하여 실질적으로 영향을 받지 않는 성분일 수 있다. 영상 처리 장치는 입력 영상(710)으로부터 조명 성분(715)을 분리함으로써, 조명의 변화에 강인한 영상을 생성할 수 있다.The
영상 처리 장치는 입력 영상으로부터 얼굴 영역을 검출할 수 있다. 이 경우, 실시예들은 입력 영상으로부터 검출된 얼굴 영역에 적용될 수 있다. 이하, '얼굴 영상'은 얼굴을 포함하는 입력 영상 자체를 지칭하거나, 입력 영상으로부터 추출된 얼굴 영역을 지칭할 수 있다.The image processing apparatus may detect a face area from the input image. In this case, embodiments may be applied to a face region detected from an input image. Hereinafter, the'face image' may refer to an input image itself including a face, or may refer to a face region extracted from the input image.
얼굴 영상은 조명 성분과 비 조명 성분을 이용하여 표현될 수 있다. 예를 들어, 얼굴 영상은 램버시안 모델에 의하여 수학식 8과 같이 표현될 수 있다.The face image may be expressed using an illumination component and a non-illumination component. For example, the face image may be expressed as Equation 8 by the Lambertian model.
여기서, I는 얼굴 영상이고, w는 조명 성분이며, v는 비 조명 성분이다. I는 입력 영상(710)에 해당하고, w는 조명 성분과 관련된 영상(720)에 해당하며, v는 비 조명 성분과 관련된 영상(730)에 해당할 수 있다.Here, I is a face image, w is an illumination component, and v is a non-illumination component. I may correspond to the
조명 성분과 관련된 영상(720)은 조명 성분(715)을 포함하고, 비 조명 성분과 관련된 영상(730)은 조명 성분(715)을 실질적으로 포함하지 않을 수 있다. 이로 인하여, 비 조명 성분과 관련된 영상(720)은 조명의 변화에 강인한 영상일 수 있다. 비 조명 성분과 관련된 영상(730)은 캐노니컬 영상(canonical image)이라고 지칭될 수 있다.The
조명 성분(715)은 주로 라지 스케일의 영역에 분포될 가능성이 크므로, 조명 성분과 관련된 영상(720)은 라지 스케일의 영역에 해당하는 영상일 수 있다. 조명 성분(715)은 스몰 스케일의 영역에 분포될 가능성이 작으므로, 비 조명 성분과 관련된 영상(730)은 스몰 스케일의 영역에 해당하는 영상일 수 있다.Since the
영상 처리 장치는 입력 영상(710)으로부터 비 조명과 관련된 영상(730)을 생성할 수 있다. 예를 들어, 영상 처리 장치는 입력 영상(710)을 수신할 수 있다. 영상 처리 장치는 입력 영상(710)으로부터 조명 성분과 관련된 영상(720)을 생성할 수 있다. 영상 처리 장치는 입력 영상(710)과 조명 성분과 관련된 영상(720)을 수학식 8에 적용함으로써, 비 조명과 관련된 영상(730)을 계산할 수 있다.The image processing apparatus may generate an
영상 처리 장치는 조명 성분과 관련된 영상(720)을 생성하기 위하여, 입력 영상(710)을 확산시킬 수 있다. 스몰 스케일의 영역에 속하는 픽셀들의 확산 속도는 라지 스케일의 영역에 속하는 픽셀들의 확산 속도보다 크다. 영상 처리 장치는 확산 속도의 차이를 이용하여 스몰 스케일의 영역과 라지 스케일의 영역을 분리할 수 있다. 예를 들어, 영상 처리 장치는 미리 정해진 반복 횟수만큼 입력 영상(710)에 포함된 복수의 픽셀을 확산시킴으로써, 라지 스케일의 영역에 해당하는 조명 성분과 관련된 영상(720)을 생성할 수 있다.The image processing apparatus may diffuse the
영상 처리 장치는 확산 방정식을 이용하여 복수의 픽셀들의 값들을 반복적으로 갱신할 수 있다. 예를 들어, 영상 처리 장치는 수학식 9를 이용하여 입력 영상(710)의 얼굴에 대응하는 복수의 픽셀들을 확산시킬 수 있다.The image processing apparatus may repeatedly update values of a plurality of pixels using the diffusion equation. For example, the image processing apparatus may diffuse a plurality of pixels corresponding to the face of the
여기서, k는 반복 횟수이고, uk는 k번째 반복 이후 픽셀의 값이며, uk +1은 k+1번째 반복 이후 픽셀의 값이다. uk는 uk(x, y)로, 영상 내 (x, y) 위치에 해당하는 픽셀이 k번 확산된 결과 해당 픽셀이 가지는 값일 수 있다. uk +1은 uk +1(x, y)로, 영상 내 (x, y) 위치에 해당하는 픽셀이 k+1번 확산된 결과 해당 픽셀이 가지는 값일 수 있다. 예를 들어, u0은 입력 영상(710)의 픽셀의 값일 수 있다. 최종 반복 횟수가 L인 경우, uL은 조명 성분과 관련된 영상(720)의 픽셀의 값일 수 있다. Here, k is the number of repetitions, u k is the value of the pixel after the kth repetition, and u k +1 is the value of the pixel after the k+1th repetition. u k is u k (x, y), and may be a value of the corresponding pixel as a result of the pixel corresponding to the (x, y) position in the image being diffused k times. u k +1 is u k +1 (x, y), and may be a value of the corresponding pixel as a result of the pixel corresponding to the (x, y) position in the image being diffused k+1 times. For example, u 0 may be a value of a pixel of the
∇는 그레디언트 연산자이고, div()는 발산 함수이다. d()는 확산 함수이다. 확산 함수는 미리 정해질 수 있다. 예를 들어, 영상 처리 장치는 확산 함수를 수학식 10으로 정의할 수 있다.∇ is the gradient operator, and div() is the divergence function. d() is the spreading function. The spreading function can be predetermined. For example, the image processing apparatus may define the spreading function as Equation 10.
여기서, β는 스몰 파지티브 넘버일 수 있다. 수학식 10과 같이 정의되는 확산 함수를 사용하는 경우, 확산 동작 중 얼굴의 경계가 잘 보존될 수 있다. 수학식 10과 같이 확산 함수가 ∇u의 함수인 경우, 확산 방정식은 비선형일 수 있다. 이하, 확산에 의하여 생성되는 영상은 확산 영상이라고 지칭될 수 있다. 확산 함수가 비선형인 경우, 확산에 의하여 생성되는 영상은 비선형 확산 영상이라고 지칭될 수 있다.Here, β may be a small positive number. When the spreading function defined as in Equation 10 is used, the boundary of the face can be well preserved during the spreading operation. When the diffusion function is a function of ∇u as shown in Equation 10, the diffusion equation may be nonlinear. Hereinafter, an image generated by diffusion may be referred to as a diffusion image. When the diffusion function is nonlinear, an image generated by diffusion may be referred to as a nonlinear diffusion image.
수학식 10은 확산 함수의 예시적인 사항으로, 확산 함수는 다양하게 변형될 수 있다. 예를 들어, 입력 영상에 따라 복수의 후보 확산 함수들 중 어느 하나의 후보 확산 함수가 선택될 수 있다.Equation 10 is an example of the diffusion function, and the diffusion function can be variously modified. For example, one of a plurality of candidate spreading functions may be selected according to an input image.
영상 처리 장치는 수학식 9를 풀이하기 위하여, 가산 연산자 분할 기법을 적용할 수 있다. 예를 들어, 영상 처리 장치는 수학식 11을 이용하여 입력 영상(710)의 얼굴에 대응하는 복수의 픽셀들을 확산시킬 수 있다.The image processing apparatus may apply an addition operator splitting technique to solve Equation 9. For example, the image processing apparatus may diffuse a plurality of pixels corresponding to the face of the
여기서, I는 입력 영상(710)의 픽셀의 값이고, Ax는 수평 방향으로의 확산 매트릭스이며, Ay는 수직 방향으로의 확산 매트릭스이다. τ는 타임 스텝일 수 있다. 최종 반복 횟수 L과 타임 스텝 τ는 미리 정해질 수 있다. 일반적으로, 타임 스텝 τ가 작게 설정되고, 최종 반복 횟수 L이 크게 설정되는 경우, 최종적으로 확산된 픽셀의 값 uL의 신뢰도가 높아질 수 있다.Here, I is a pixel value of the
영상 처리 장치는 수학식 9를 풀이하기 위하여 가산 연산자 분할 기법을 이용함으로써, 최종 반복 횟수 L을 감소시킬 수 있다. 가산 연산자 분할 기법을 이용하는 경우, 임의의 크기의 타임 스텝 τ를 이용하더라도 최종적으로 확산된 픽셀의 값 uL의 신뢰도가 높기 때문이다. 영상 처리 장치는 확산 방정식을 풀이하기 위하여 가산 연산자 분할 기법을 이용함으로써, 확산 동작을 위한 연산의 효율성을 향상시킬 수 있다.The image processing apparatus may reduce the number of final repetitions L by using an addition operator segmentation technique to solve Equation 9. This is because, in the case of using the addition operator division technique, the reliability of the finally diffused pixel value u L is high even when a time step τ of an arbitrary size is used. The image processing apparatus may improve the efficiency of an operation for a diffusion operation by using an addition operator division technique to solve a diffusion equation.
영상 처리 장치는 입력 영상(710) 및 조명 성분과 관련된 영상(720)에 기초하여 비 조명 성분과 관련된 영상(730)을 생성할 수 있다. 예를 들어, 영상 처리 장치는 수학식 12 또는 수학식 13을 이용하여 비 조명 성분과 관련된 영상(730)을 생성할 수 있다. 수학식 8의 w는 uL에 대응하므로, 수학식 8로부터 수학식 12 또는 수학식 13이 도출될 수 있다.The image processing apparatus may generate an
여기서, I는 얼굴 영상으로, 예를 들어 입력 영상(710)에 해당할 수 있다. I는 u0일 수 있다. uL은 라지 스케일의 영역으로, 예를 들어 조명 성분과 관련된 영상(720)에 해당할 수 있다. v는 스몰 스케일의 영역으로, 예를 들어 비 조명 성분과 관련된 영상(730)에 해당할 수 있다.Here, I is a face image, and may correspond to, for example, the
도 9는 일 실시예에 따른 영상 처리 장치를 나타낸 블록도이다. 도 9를 참조하면, 일 실시예에 따른 영상 처리 장치(910)는 수신부(911), 확산부(912), 및 생성부(913)를 포함한다. 수신부(911)는 입력 영상을 수신할 수 있다. 수신부(911)는 이미지 센서로부터 생성된 입력 영상을 수신할 수 있다. 수신부(911)는 이미지 센서와 유선 또는 무선으로 연결되거나, 네트워크를 통하여 연결될 수 있다. 수신부(911)는 메인 메모리, 캐시 메모리, 하드 디스크 드라이브, 솔리드 스테이트 드라이브, 플래시 메모리 디바이스, 네트워크 드라이브 등의 저장 장치로부터 입력 영상을 수신할 수도 있다.9 is a block diagram illustrating an image processing apparatus according to an exemplary embodiment. Referring to FIG. 9, an
확산부(912)는 입력 영상에 포함된 객체에 대응하는 복수의 픽셀들을 확산시킬 수 있다. 객체는 사용자의 얼굴일 수 있다. 확산부(912)는 확산 방정식에 기초하여 입력 영상에 포함된 객체에 대응하는 복수의 픽셀들의 값들을 반복적으로 갱신할 수 있다. 예를 들어, 확산부(912)는 수학식 9를 이용하여 입력 영상에 포함된 객체에 대응하는 복수의 픽셀들을 확산시킬 수 있다.The
확산부(912)는 확산 방정식에 가산 연산자 분할 기법을 적용함으로써, 입력 영상에 포함된 객체에 대응하는 복수의 픽셀들의 값들을 반복적으로 갱신할 수 있다. 예를 들어, 확산부(912)는 수학식 11을 이용하여 입력 영상에 포함된 객체에 대응하는 복수의 픽셀들을 확산시킬 수 있다. 확산부(912)는 복수의 픽셀들이 확산되어 생성되는 확산 영상을 출력할 수 있다. 확산 영상은 조명과 관련된 영상일 수 있다.The
생성부(913)는 입력 영상과 확산 영상을 이용하여 출력 영상을 생성할 수 있다. 예를 들어, 생성부(913)는 수학식 12 또는 수학식 13을 이용하여 출력 영상을 생성할 수 있다. 출력 영상은 비 조명 성분과 관련된 영상일 수 있다.The
영상 생성 장치(910)는 단일 입력 영상을 이용하여 출력 영상을 생성할 수 있다. 여기서, 단일 입력 영상은 단일 사진, 단일 이미지, 또는 단일 프레임의 정지 영상일 수 있다.The
영상 생성 장치(910)는 출력 영상에 기초하여 입력 영상에 포함된 얼굴을 인식할 수 있다. 출력 영상은 비 조명 성분과 관련된 영상으로, 조명의 변화에 강인한 영상일 수 있다. 영상 생성 장치(910)는 조명의 변화에 강인한 영상을 이용하여 입력 영상에 포함된 얼굴을 인식하므로, 얼굴 인식의 정확도 및/또는 신뢰도가 향상될 수 있다. 예를 들어, 조명의 변화에 강인한 영상을 이용하는 경우, 저조도 환경에서 정렬(alignment) 연산의 성능이 향상될 수 있다.The
영상 생성 장치(910)는 출력 영상에 기초하여 사용자를 인증할 수 있다. 예를 들어, 영상 생성 장치(910)는 출력 영상에 기초하여 사용자의 얼굴을 인식함으로써, 사용자를 인증할 수 있다. 출력 영상은 비 조명 성분과 관련된 영상으로, 조명의 변화에 강인한 영상일 수 있다. 영상 생성 장치(910)는 조명의 변화에 강인한 영상을 이용하여 사용자를 인증하므로, 사용자 인증의 정확도 및/또는 신뢰도가 향상될 수 있다.
The
일 Work 실시예에In the examples 따른 동작 흐름도 Operation flow according to
도 10은 일 실시예에 따른 라이브니스 검사 방법을 나타낸 동작 흐름도이다. 도 10을 참조하면, 일 실시예에 따른 라이브니스 검사 방법은 입력 영상을 수신하는 단계(1010) 및 입력 영상에 포함된 객체의 라이브니스를 검사하는 단계(1020)를 포함한다.10 is a flowchart illustrating a liveness test method according to an exemplary embodiment. Referring to FIG. 10, a method for inspecting liveness according to an exemplary embodiment includes receiving an input image (1010) and inspecting (1020) the liveness of an object included in the input image.
일 예로, 입력 영상에 포함된 객체의 라이브니스를 검사하는 단계(1020)는 입력 영상에 포함된 객체가 평면적 특성 또는 3차원 구조적 특성을 가지는지 여부에 기초하여 입력 영상에 포함된 객체의 라이브니스를 검사하는 단계일 수 있다.As an example, the
다른 예로, 입력 영상에 포함된 객체의 라이브니스를 검사하는 단계(1020)는 입력 영상에 포함된 객체에 대응하는 복수의 픽셀들을 확산시키는 단계 및 복수의 픽셀들의 확산 속도들에 기초하여 객체의 라이브니스를 검사하는 단계를 포함할 수 있다.As another example, the
도 11은 일 실시예에 따른 영상 처리 방법을 나타낸 동작 흐름도이다. 도 11을 참조하면, 일 실시예에 따른 영상 처리 방법은 제1 영상을 수신하는 단계(1110), 제2 영상을 생성하는 단계(1120), 및 제3 영상을 생성하는 단계(1130)를 포함한다.11 is a flowchart illustrating an image processing method according to an exemplary embodiment. Referring to FIG. 11, an image processing method according to an embodiment includes receiving a first image (1110), generating a second image (1120), and generating a third image (1130). do.
제1 영상은 입력 영상일 수 있다. 제2 영상은 조명 성분과 관련된 영상일 수 있다. 제3 영상은 비 조명 성분과 관련된 영상일 수 있다.The first image may be an input image. The second image may be an image related to the lighting component. The third image may be an image related to a non-illumination component.
도 10 및 도 11에 도시된 각 단계들에는 도 1 내지 도 9를 통하여 전술한 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.Since the items described above through FIGS. 1 to 9 may be applied to each of the steps shown in FIGS. 10 and 11 as they are, a more detailed description will be omitted.
도 12는 다른 실시예에 따른 영상 처리 방법을 나타낸 동작 흐름도이다. 도 12를 참조하면, 도 10에 도시된 라이브니스 검사 방법과 도 11에 도시된 영성 처리 방법이 조합될 수 있다.12 is a flowchart illustrating an image processing method according to another exemplary embodiment. Referring to FIG. 12, the liveness test method illustrated in FIG. 10 and the spirituality processing method illustrated in FIG. 11 may be combined.
단계(1210)에서 제1 영상이 수신될 수 있다. 제1 영상은 입력 영상일 수 있다. 입력 영상은 사용자의 얼굴을 포함할 수 있다. 단계(1220)에서 제1 영상에 기초하여 제2 영상이 생성될 수 있다. 제2 영상은 제1 영상이 확산됨으로써 생성될 수 있다. 제2 영상은 조명 성분과 관련된 영상일 수 있다.In
단계(1240)에서 제1 영상과 제2 영상에 기초하여 픽셀 단위로 확산 속도가 계산될 수 있다. 예를 들어, 각각의 픽셀의 확산 속도는 제2 영상 내 픽셀의 값과 제1 영상 내 픽셀의 값 사이의 차로 계산될 수 있다. In
단계(1250)에서 확산 속도에 기초하여 통계적 정보가 추출될 수 있다. 예를 들어, 미리 정해진 임계값보다 큰 확산 속도를 가지는 픽셀들의 수가 계산될 수 있다. 단계(1270)에서 확산 속도 기반 통계적 정보를 이용하여 라이브니스 검사가 수행될 수 있다. 예를 들어, 미리 정해진 임계값보다 큰 확산 속도를 가지는 픽셀들의 수를 이용하여 입력 영상이 라이브한지 여부가 판단될 수 있다. 만약 라이브니스 검사가 실패하는 경우, 얼굴 인식 및/또는 사용자 인증은 수행되지 않고 동작이 종료될 수 있다. Statistical information may be extracted based on the diffusion rate in
만약 라이브니스 검사가 성공하는 경우, 얼굴 인식 및/또는 사용자 인증이 수행될 수 있다. 이 경우, 얼굴 인식 및/또는 사용자 인증을 위하여 조명의 변화에 강인한 영상이 생성될 수 있다. 단계(1230)에서 제1 영상 및 제2 영상에 기초하여 제3 영상이 생성될 수 있다. 제3 영상은 제1 영상과 제2 영상 사이의 비 또는 로그 도메인에서 제1 영상과 제2 영상 사이의 차로 계산될 수 있다. 제3 영상은 비 조명 성분과 관련된 영상으로, 조명 변화에 강인한 영상일 수 있다. If the liveness test is successful, face recognition and/or user authentication may be performed. In this case, an image that is robust to changes in lighting may be generated for face recognition and/or user authentication. In
단계(1260)에서 제3 영상을 이용하여 얼굴 인식 및/또는 사용자 인증이 수행될 수 있다. 단계(1260)에서는 라이브니스 검사가 성공한 경우에 한하여 얼굴 인식 및/또는 사용자 인증이 수행될 수 있다. 이 때, 조명 변화에 강인한 영상인 제3 영상을 이용하여 얼굴 인식 및/또는 사용자 인증이 수행될 수 있다.In
도 12에 도시된 각 단계들에는 도 1 내지 도 11을 통하여 전술한 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.
Since the above-described matters through FIGS. 1 to 11 may be applied to each of the steps shown in FIG. 12 as they are, a more detailed description will be omitted.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The embodiments described above may be implemented as a hardware component, a software component, and/or a combination of a hardware component and a software component. For example, the devices, methods, and components described in the embodiments are, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate (FPGA). array), programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications executed on the operating system. Further, the processing device may access, store, manipulate, process, and generate data in response to the execution of software. For the convenience of understanding, although it is sometimes described that one processing device is used, one of ordinary skill in the art, the processing device is a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that it may include. For example, the processing device may include a plurality of processors or one processor and one controller. In addition, other processing configurations are possible, such as a parallel processor.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment) 또는 컴퓨터 저장 매체 또는 장치에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of these, configuring the processing unit to operate as desired or processed independently or collectively. You can command the device. Software and/or data may be interpreted by a processing device or to provide instructions or data to a processing device, of any type of machine, component, physical device, virtual equipment, or computer storage medium or device. It can be permanently or temporarily embody. The software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer-readable recording media.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -A hardware device specially configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operation of the embodiment, and vice versa.
이상과 같이 비록 한정된 도면에 의해 실시예들이 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
As described above, although the embodiments have been described by the limited drawings, various modifications and variations are possible from the above description to those of ordinary skill in the art. For example, the described techniques are performed in a different order from the described method, and/or components such as systems, structures, devices, circuits, etc. described are combined or combined in a form different from the described method, or other components Alternatively, even if substituted or substituted by an equivalent, an appropriate result can be achieved. Therefore, other implementations, other embodiments, and those equivalent to the claims also fall within the scope of the claims to be described later.
Claims (38)
상기 입력 영상에 포함된 객체가 평면적 특성 또는 3차원 구조적 특성을 가지는지 여부에 기초하여 상기 객체의 라이브니스(liveness)를 검사하는 단계
를 포함하고,
상기 객체의 라이브니스를 검사하는 단계는,
상기 객체에 대응하는 복수의 픽셀들의 확산 전의 픽셀 값 및 상기 복수의 픽셀들의 확산 후의 픽셀 값에 기초하여 상기 복수의 픽셀들에 대한 확산 속도를 계산하는 단계; 및
상기 확산 속도에 기초하여 상기 객체가 평면적 특성 또는 3차원 구조적 특성을 가지는지 여부를 결정하는 단계
를 포함하는 라이브니스 검사 방법.
Receiving an input image; And
Checking the liveness of the object based on whether the object included in the input image has a planar characteristic or a 3D structural characteristic
Including,
Inspecting the liveness of the object,
Calculating a diffusion speed of the plurality of pixels based on a pixel value before diffusion of a plurality of pixels corresponding to the object and a pixel value after diffusion of the plurality of pixels; And
Determining whether the object has a planar characteristic or a three-dimensional structural characteristic based on the diffusion rate
Liveness test method comprising a.
상기 입력 영상에 포함된 객체는 얼굴인, 라이브니스 검사 방법.
The method of claim 1,
The liveness test method, wherein the object included in the input image is a face.
상기 객체가 상기 평면적 특성 또는 3차원 구조적 특성을 가지는지 여부는
상기 객체에 대응하는 복수의 픽셀들에 포함된 빛 에너지의 분포에 기초하여 판단되는, 라이브니스 검사 방법.
The method of claim 1,
Whether the object has the planar characteristic or the three-dimensional structural characteristic
The liveness inspection method, which is determined based on distribution of light energy included in a plurality of pixels corresponding to the object.
상기 객체가 상기 평면적 특성 또는 3차원 구조적 특성을 가지는지 여부는
상기 객체에 대응하는 복수의 픽셀들에 포함된 빛 에너지가 균일하게 분포된 정도에 기초하여 판단되는, 라이브니스 검사 방법.
The method of claim 1,
Whether the object has the planar characteristic or the three-dimensional structural characteristic
The liveness test method, wherein light energy included in a plurality of pixels corresponding to the object is uniformly distributed.
상기 객체가 상기 평면적 특성 또는 3차원 구조적 특성을 가지는지 여부는
상기 객체에 대응하는 복수의 픽셀들의 확산 속도들과 관련된 통계적 정보에 기초하여 판단되는, 라이브니스 검사 방법.
The method of claim 1,
Whether the object has the planar characteristic or the three-dimensional structural characteristic
The liveness test method, which is determined based on statistical information related to diffusion velocities of a plurality of pixels corresponding to the object.
상기 복수의 픽셀들의 값들은 확산 방정식(diffusion equation)에 기초하여 반복적으로(iteratively) 갱신되고,
상기 복수의 픽셀들의 확산 속도들은 반복적 갱신 전후의 픽셀 값들의 차이들에 기초하여 계산되는, 라이브니스 검사 방법.
The method of claim 5,
The values of the plurality of pixels are updated iteratively based on a diffusion equation,
The diffusion velocities of the plurality of pixels are calculated based on differences in pixel values before and after repetitive update.
상기 입력 영상에 포함된 객체가 평면적 특성 또는 3차원 구조적 특성을 가지는지 여부에 기초하여 상기 객체의 라이브니스(liveness)를 검사하는 단계
를 포함하고,
상기 객체가 상기 평면적 특성 또는 3차원 구조적 특성을 가지는지 여부는
상기 객체에 대응하는 복수의 픽셀들의 확산 속도들과 관련된 통계적 정보에 기초하여 판단되고,
상기 확산 속도들과 관련된 통계적 정보는
미리 정해진 제1 임계 값 이상의 확산 속도에 대응하는 픽셀의 수;
상기 제1 임계 값 이상의 확산 속도에 대응하는 픽셀의 분포;
상기 확산 속도들의 크기들에 기초하여 추출된 제1 스케일의 영역에 포함된 잡음 성분의 양;
상기 확산 속도들의 평균;
상기 확산 속도들의 표준편차; 및
상기 확산 속도들에 기초한 필터 응답(filter response)
중 적어도 하나를 포함하는, 라이브니스 검사 방법.
Receiving an input image; And
Checking the liveness of the object based on whether the object included in the input image has a planar characteristic or a 3D structural characteristic
Including,
Whether the object has the planar characteristic or the three-dimensional structural characteristic
It is determined based on statistical information related to diffusion velocities of a plurality of pixels corresponding to the object,
Statistical information related to the spreading rates is
The number of pixels corresponding to a diffusion rate equal to or greater than a first predetermined threshold value;
A distribution of pixels corresponding to a diffusion rate equal to or greater than the first threshold value;
An amount of a noise component included in the region of the first scale extracted based on the magnitudes of the spreading velocities;
The average of the diffusion velocities;
Standard deviation of the diffusion rates; And
Filter response based on the spreading rates
Including at least one of, the liveness test method.
상기 객체의 라이브니스를 검사하는 단계는
상기 객체가 상기 평면적 특성을 가진다고 판단되는 경우, 검사 실패에 대응하는 신호를 출력하는 단계; 및
상기 객체가 상기 3차원 구조적 특성을 가진다고 판단되는 경우, 검사 성공에 대응하는 신호를 출력하는 단계
중 적어도 하나를 포함하는, 라이브니스 검사 방법.
The method of claim 1,
Inspecting the liveness of the object
If it is determined that the object has the planar characteristic, outputting a signal corresponding to a test failure; And
When it is determined that the object has the three-dimensional structural characteristics, outputting a signal corresponding to the success of the inspection
Including at least one of, the liveness test method.
상기 입력 영상은 단일 영상인, 라이브니스 검사 방법.
The method of claim 1,
The input image is a single image, the liveness test method.
상기 입력 영상에 포함된 객체에 대응하는 복수의 픽셀들을 확산시키는 단계; 및
상기 복수의 픽셀들의 확산 속도들에 기초하여 상기 객체의 라이브니스(liveness)를 검사하는 단계
를 포함하고,
상기 객체의 라이브니스를 검사하는 단계는
상기 객체의 라이브니스를 검사하기 위하여, 상기 확산 속도들과 관련된 통계적 정보를 계산하는 단계
를 포함하고,
상기 통계적 정보를 계산하는 단계는
상기 확산 속도들 중 미리 정해진 제1 임계 값 이상의 확산 속도에 대응하는 픽셀의 수를 계산하는 단계;
상기 확산 속도들 중 상기 제1 임계 값 이상의 확산 속도에 대응하는 픽셀의 분포를 계산하는 단계;
상기 확산 속도들의 평균 및 표준편차 중 적어도 하나를 계산하는 단계; 및
상기 확산 속도들에 기초한 필터 응답을 계산하는 단계
중 적어도 하나를 포함하는, 라이브니스 검사 방법.
Receiving an input image;
Diffusing a plurality of pixels corresponding to an object included in the input image; And
Inspecting the liveness of the object based on diffusion velocities of the plurality of pixels
Including,
Inspecting the liveness of the object
Calculating statistical information related to the spreading velocities in order to check the liveness of the object
Including,
The step of calculating the statistical information
Calculating the number of pixels corresponding to a diffusion rate equal to or greater than a first predetermined threshold among the diffusion rates;
Calculating a distribution of a pixel corresponding to a diffusion rate equal to or greater than the first threshold among the diffusion rates;
Calculating at least one of an average and a standard deviation of the diffusion rates; And
Calculating a filter response based on the spreading velocities
Including at least one of, the liveness test method.
상기 입력 영상에 포함된 객체는 얼굴인, 라이브니스 검사 방법.
The method of claim 10,
The liveness test method, wherein the object included in the input image is a face.
상기 복수의 픽셀들을 확산시키는 단계는
확산 방정식(diffusion equation)에 기초하여 상기 복수의 픽셀들의 값들을 반복적으로(iteratively) 갱신하는 단계
를 포함하는, 라이브니스 검사 방법.
The method of claim 10,
The step of diffusing the plurality of pixels
Iteratively updating values of the plurality of pixels based on a diffusion equation
Containing, liveness test method.
상기 입력 영상에 포함된 객체에 대응하는 복수의 픽셀들을 확산시키는 단계; 및
상기 복수의 픽셀들의 확산 속도들에 기초하여 상기 객체의 라이브니스(liveness)를 검사하는 단계
를 포함하고,
상기 복수의 픽셀들을 확산시키는 단계는
확산 방정식에 가산 연산자 분할(additive operator splitting, AOS) 기법을 적용함으로써, 상기 복수의 픽셀들의 값들을 반복적으로 갱신하는 단계
를 포함하는, 라이브니스 검사 방법.
Receiving an input image;
Diffusing a plurality of pixels corresponding to an object included in the input image; And
Inspecting the liveness of the object based on diffusion velocities of the plurality of pixels
Including,
The step of diffusing the plurality of pixels
Repeatedly updating the values of the plurality of pixels by applying an additive operator splitting (AOS) technique to the diffusion equation
Containing, liveness test method.
상기 객체의 라이브니스를 검사하는 단계는
상기 객체의 라이브니스를 검사하기 위하여, 상기 확산 속도들에 기초하여 상기 객체와 관련된 표면 특성(surface property)을 추정하는 단계
를 포함하는, 라이브니스 검사 방법.
The method of claim 10,
Inspecting the liveness of the object
Estimating a surface property related to the object based on the diffusion velocities to check the liveness of the object
Containing, liveness test method.
상기 표면 특성은
상기 객체의 표면의 빛 반사 성질;
상기 객체의 표면의 차원 수; 및
상기 객체의 표면의 재질
중 적어도 하나를 포함하는, 라이브니스 검사 방법.
The method of claim 14,
The surface properties are
Light reflection properties of the surface of the object;
The number of dimensions of the surface of the object; And
The material of the surface of the object
Including at least one of, the liveness test method.
상기 표면 특성을 추정하는 단계는
상기 표면 특성을 추정하기 위하여, 상기 확산 속도들에 기초하여 상기 입력 영상에 포함된 빛 에너지의 분포를 분석하는 단계
를 포함하는, 라이브니스 검사 방법.
The method of claim 14,
The step of estimating the surface property is
Analyzing the distribution of light energy included in the input image based on the diffusion velocities to estimate the surface characteristic
Containing, liveness test method.
상기 객체의 라이브니스를 검사하는 단계는
상기 표면 특성이 얼굴을 표시하는 매체의 표면 특성에 대응하는 경우, 검사 실패에 대응하는 신호를 출력하는 단계; 및
상기 표면 특성이 실제 얼굴의 표면 특성에 대응하는 경우, 검사 성공에 대응하는 신호를 출력하는 단계
중 적어도 하나를 더 포함하는, 라이브니스 검사 방법.
The method of claim 14,
Inspecting the liveness of the object
Outputting a signal corresponding to an inspection failure when the surface characteristic corresponds to a surface characteristic of a medium displaying a face; And
When the surface characteristic corresponds to the surface characteristic of an actual face, outputting a signal corresponding to the success of the inspection
The liveness test method further comprising at least one of.
상기 입력 영상에 포함된 객체에 대응하는 복수의 픽셀들을 확산시키는 단계; 및
상기 복수의 픽셀들의 확산 속도들에 기초하여 상기 객체의 라이브니스(liveness)를 검사하는 단계
를 포함하고,
상기 객체의 라이브니스를 검사하는 단계는
상기 객체의 라이브니스를 검사하기 위하여, 상기 확산 속도들과 관련된 통계적 정보를 계산하는 단계
를 포함하고,
상기 통계적 정보를 계산하는 단계는
상기 확산 속도들의 크기에 기초하여 상기 입력 영상으로부터 제1 스케일의 영역을 추출하는 단계; 및
상기 제1 스케일의 영역의 특징을 추출하는 단계
를 포함하는, 라이브니스 검사 방법.
Receiving an input image;
Diffusing a plurality of pixels corresponding to an object included in the input image; And
Inspecting the liveness of the object based on diffusion velocities of the plurality of pixels
Including,
Inspecting the liveness of the object
Calculating statistical information related to the spreading velocities in order to check the liveness of the object
Including,
The step of calculating the statistical information
Extracting a region of a first scale from the input image based on the magnitudes of the diffusion velocities; And
Extracting features of the region of the first scale
Containing, liveness test method.
상기 제1 스케일의 영역의 특징은 상기 제1 스케일의 영역에 포함된 잡음 성분의 양을 포함하고,
상기 잡음 성분은 상기 제1 스케일의 영역에 미디언 필터링(median filtering)을 적용한 결과와 상기 제1 스케일의 영역 사이의 차이에 기초하여 계산되는, 라이브니스 검사 방법.
The method of claim 20,
The characteristic of the region of the first scale includes an amount of a noise component included in the region of the first scale,
The noise component is calculated based on a difference between a result of applying median filtering to the region of the first scale and the region of the first scale.
상기 객체의 라이브니스를 검사하는 단계는
상기 통계적 정보가 얼굴을 표시하는 매체와 관련된 통계적 정보에 대응하는 경우, 검사 실패에 대응하는 신호를 출력하는 단계; 및
상기 통계적 정보가 실제 얼굴과 관련된 통계적 정보에 대응하는 경우, 검사 성공에 대응하는 신호를 출력하는 단계
중 적어도 하나를 더 포함하는, 라이브니스 검사 방법.
The method of claim 10,
Inspecting the liveness of the object
If the statistical information corresponds to statistical information related to a medium displaying a face, outputting a signal corresponding to a test failure; And
When the statistical information corresponds to statistical information related to an actual face, outputting a signal corresponding to a successful examination
The liveness test method further comprising at least one of.
상기 입력 영상에 포함된 객체에 대응하는 복수의 픽셀들을 확산시키는 단계; 및
상기 복수의 픽셀들의 확산 속도들에 기초하여 상기 객체의 라이브니스(liveness)를 검사하는 단계
를 포함하고,
상기 복수의 픽셀들 중 어느 하나의 픽셀의 확산 속도는 확산 전 상기 픽셀이 가지는 오리지널 값(original value)과 확산 후 상기 픽셀이 가지는 확산 값(diffusion value)에 기초하여 계산되는, 라이브니스 검사 방법.
Receiving an input image;
Diffusing a plurality of pixels corresponding to an object included in the input image; And
Inspecting the liveness of the object based on diffusion velocities of the plurality of pixels
Including,
The liveness inspection method, wherein a diffusion rate of one of the plurality of pixels is calculated based on an original value of the pixel before diffusion and a diffusion value of the pixel after diffusion.
상기 오리지널 값과 상기 확산 값 사이의 차이가 클수록 상기 픽셀의 확산 속도가 크게 계산되고, 상기 오리지널 값과 상기 확산 값 사이의 차이가 작을수록 상기 픽셀의 확산 속도가 작게 계산되는, 라이브니스 검사 방법.
The method of claim 23,
A liveness inspection method, wherein the larger the difference between the original value and the diffusion value is, the larger the diffusion rate of the pixel is, and the smaller the difference between the original value and the diffusion value is, the smaller the diffusion rate of the pixel is calculated.
상기 입력 영상은 사용자의 얼굴을 포함하는 단일 영상인, 라이브니스 검사 방법.
The method of claim 10,
The input image is a single image including a user's face.
상기 제1 영상에 포함된 복수의 픽셀들을 확산시킴으로써, 상기 조명 성분과 관련된 제2 영상을 생성하는 단계; 및
상기 제1 영상 및 상기 제2 영상에 기초하여 상기 비 조명 성분과 관련된 제3 영상을 생성하는 단계
를 포함하는 영상 처리 방법.
Receiving a first image including an illumination component and a non-illumination component;
Generating a second image related to the illumination component by diffusing a plurality of pixels included in the first image; And
Generating a third image related to the non-illuminated component based on the first image and the second image
Image processing method comprising a.
상기 제3 영상에 기초하여 얼굴을 인식하는 단계; 및
상기 제3 영상에 기초하여 사용자를 인증하는 단계
중 적어도 하나를 더 포함하는 영상 처리 방법.
The method of claim 26,
Recognizing a face based on the third image; And
Authenticating a user based on the third image
Image processing method further comprising at least one of.
상기 제2 영상을 생성하는 단계는
확산 방정식(diffusion equation)에 가산 연산자 분할(additive operator splitting, AOS) 기법을 적용함으로써, 상기 복수의 픽셀들의 값들을 반복적으로 갱신하는 단계
를 포함하는, 영상 처리 방법.
The method of claim 26,
Generating the second image
Repeatedly updating values of the plurality of pixels by applying an additive operator splitting (AOS) technique to a diffusion equation
Containing, image processing method.
상기 제3 영상은 상기 제1 영상과 상기 제2 영상의 비, 및 로그 도메인에서 상기 제1 영상과 상기 제2 영상의 차이 중 적어도 하나에 기초하여 생성되는, 영상 처리 방법.
The method of claim 26,
The third image is generated based on at least one of a ratio of the first image and the second image, and a difference between the first image and the second image in a log domain.
상기 비 조명 성분은 조명의 변화에 강인한 제1 스케일의 영역에 포함되고, 상기 조명 성분은 조명의 변화에 예민한 제2 스케일의 영역에 포함되는, 영상 처리 방법.
The method of claim 26,
The non-illumination component is included in an area of a first scale that is robust to a change in illumination, and the illumination component is included in an area of a second scale that is sensitive to a change in illumination.
상기 비 조명 성분에 대응하는 픽셀의 확산 속도는 상기 조명 성분에 대응하는 픽셀의 확산 속도보다 큰, 영상 처리 방법.
The method of claim 26,
The image processing method, wherein a diffusion rate of a pixel corresponding to the non-illumination component is greater than a diffusion rate of a pixel corresponding to the illumination component.
상기 제1 영상은 얼굴을 포함하는 단일 영상인, 영상 처리 방법.
The method of claim 26,
The first image is a single image including a face, the image processing method.
A computer-readable recording medium on which a program for executing the method of any one of claims 1 to 17 and 20 to 32 is recorded.
상기 입력 영상에 포함된 객체가 평면적 특성 또는 3차원 구조적 특성을 가지는지 여부에 기초하여 상기 객체의 라이브니스(liveness)를 검사하는 검사부
를 포함하고,
상기 검사부는,
상기 객체에 대응하는 복수의 픽셀들의 확산 전의 픽셀 값 및 상기 복수의 픽셀들의 확산 후의 픽셀 값에 기초하여 상기 복수의 픽셀들에 대한 확산 속도를 계산하고,
상기 확산 속도에 기초하여 상기 객체가 평면적 특성 또는 3차원 구조적 특성을 가지는지 여부를 결정하는 라이브니스 검사 장치.
A receiver for receiving an input image; And
An inspection unit that checks the liveness of the object based on whether the object included in the input image has a planar characteristic or a 3D structural characteristic
Including,
The inspection unit,
Calculate a diffusion rate for the plurality of pixels based on a pixel value before diffusion of a plurality of pixels corresponding to the object and a pixel value after diffusion of the plurality of pixels,
Liveness inspection apparatus for determining whether the object has a planar characteristic or a 3D structural characteristic based on the diffusion rate.
상기 입력 영상에 포함된 객체는 얼굴인, 라이브니스 검사 장치.
The method of claim 34,
The object included in the input image is a face, a liveness test apparatus.
상기 검사부는
상기 객체에 대응하는 복수의 픽셀들을 확산시키고, 상기 복수의 픽셀들의 확산 속도들에 기초하여 상기 객체가 상기 평면적 특성 또는 3차원 구조적 특성을 가지는지 여부를 판단하는, 라이브니스 검사 장치.
The method of claim 34,
The inspection unit
A liveness inspection apparatus for diffusing a plurality of pixels corresponding to the object and determining whether the object has the planar characteristic or the 3D structural characteristic based on diffusion speeds of the plurality of pixels.
상기 제1 영상에 포함된 복수의 픽셀들을 확산시킴으로써, 상기 조명 성분과 관련된 제2 영상을 생성하는 확산부; 및
상기 제1 영상 및 상기 제2 영상에 기초하여 상기 비 조명 성분과 관련된 제3 영상을 생성하는 생성부
를 포함하는 영상 처리 장치.
A receiver configured to receive a first image including an illumination component and a non-illumination component;
A diffusion unit generating a second image related to the illumination component by diffusing a plurality of pixels included in the first image; And
Generation unit for generating a third image related to the non-illumination component based on the first image and the second image
Image processing device comprising a.
상기 제1 영상은 얼굴을 포함하는 단일 영상인, 영상 처리 장치.
The method of claim 37,
The image processing apparatus, wherein the first image is a single image including a face.
Priority Applications (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US14/612,632 US9679212B2 (en) | 2014-05-09 | 2015-02-03 | Liveness testing methods and apparatuses and image processing methods and apparatuses |
| JP2015056767A JP6629513B2 (en) | 2014-05-09 | 2015-03-19 | Liveness inspection method and apparatus, and video processing method and apparatus |
| EP20169859.4A EP3699817A3 (en) | 2014-05-09 | 2015-04-16 | Liveness testing methods and apparatuses and image processing methods and apparatuses |
| EP15163789.9A EP2942736A3 (en) | 2014-05-09 | 2015-04-16 | Liveness testing methods and apparatuses and image processing methods and apparatuses |
| CN201510208889.7A CN105100547B (en) | 2014-05-09 | 2015-04-28 | Activity test method and equipment and image processing method and equipment |
| US15/156,847 US11151397B2 (en) | 2014-05-09 | 2016-05-17 | Liveness testing methods and apparatuses and image processing methods and apparatuses |
| US15/499,164 US10360465B2 (en) | 2014-05-09 | 2017-04-27 | Liveness testing methods and apparatuses and image processing methods and apparatuses |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140055687 | 2014-05-09 | ||
| KR20140055687 | 2014-05-09 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150128510A KR20150128510A (en) | 2015-11-18 |
| KR102257897B1 true KR102257897B1 (en) | 2021-05-28 |
Family
ID=54839083
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140077333A KR102257897B1 (en) | 2014-05-09 | 2014-06-24 | Apparatus and method for liveness test,and apparatus and method for image processing |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102257897B1 (en) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102483642B1 (en) | 2016-08-23 | 2023-01-02 | 삼성전자주식회사 | Method and apparatus for liveness test |
| KR102387571B1 (en) | 2017-03-27 | 2022-04-18 | 삼성전자주식회사 | Liveness test method and apparatus for |
| CN113095124B (en) * | 2017-06-07 | 2024-02-06 | 创新先进技术有限公司 | Face living body detection method and device and electronic equipment |
| CN108229120B (en) * | 2017-09-07 | 2020-07-24 | 北京市商汤科技开发有限公司 | Face unlocking method, face unlocking information registration device, face unlocking information registration equipment, face unlocking program and face unlocking information registration medium |
| KR102466997B1 (en) * | 2018-01-22 | 2022-11-14 | 삼성전자주식회사 | Liveness test method and apparatus |
| KR102680384B1 (en) | 2019-10-18 | 2024-07-02 | 삼성전자주식회사 | Method and apparatus for correction of aberration |
| KR20210074749A (en) | 2019-12-12 | 2021-06-22 | 삼성전자주식회사 | Liveness test method and liveness test apparatus |
| US11694480B2 (en) | 2020-07-27 | 2023-07-04 | Samsung Electronics Co., Ltd. | Method and apparatus with liveness detection |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4085470B2 (en) * | 1998-05-29 | 2008-05-14 | オムロン株式会社 | Personal identification device, personal identification method, and recording medium recording personal identification program |
-
2014
- 2014-06-24 KR KR1020140077333A patent/KR102257897B1/en active IP Right Grant
Non-Patent Citations (3)
| Title |
|---|
| Face liveness detection from a single image with sparse low rank bilinear discriminative model, ECCV 2010.* |
| Label Diffusion on Graph for Face Identification, IEEE, 2012.* |
| 실제 얼굴과 사진상의 얼굴 판별, 2011.06* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20150128510A (en) | 2015-11-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6629513B2 (en) | Liveness inspection method and apparatus, and video processing method and apparatus | |
| KR102257897B1 (en) | Apparatus and method for liveness test,and apparatus and method for image processing | |
| CN109948408B (en) | Activity test method and apparatus | |
| KR102387571B1 (en) | Liveness test method and apparatus for | |
| US11195037B2 (en) | Living body detection method and system, computer-readable storage medium | |
| CN110222573B (en) | Face recognition method, device, computer equipment and storage medium | |
| CN107111750B (en) | Detection of deceptive faces | |
| US11869272B2 (en) | Liveness test method and apparatus and biometric authentication method and apparatus | |
| CN112052831B (en) | Method, device and computer storage medium for face detection | |
| US20180012094A1 (en) | Spoofing attack detection during live image capture | |
| US11625954B2 (en) | Method and apparatus with liveness testing | |
| KR102352345B1 (en) | Liveness test method and apparatus | |
| WO2016084072A1 (en) | Anti-spoofing system and methods useful in conjunction therewith | |
| US9501719B1 (en) | System and method for verification of three-dimensional (3D) object | |
| US11335094B2 (en) | Detecting fake videos | |
| CN112052830A (en) | Face detection method, device and computer storage medium | |
| KR20200083188A (en) | Method and apparatus for detecting liveness and object recognition method using same | |
| US20240037995A1 (en) | Detecting wrapped attacks on face recognition | |
| CN109063761A (en) | Diffuser dropping detection method, device and electronic equipment | |
| KR102665968B1 (en) | Method and apparatus for blur estimation | |
| ALKINANY | FACE LIVENESS DETECTION BASED ON IQA USING ANOVA FEATURE SELECTION | |
| CN116110134A (en) | Living body detection method and system | |
| KR20210073434A (en) | Electronic device and method for controlling the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |