KR102419698B1 - Device and method for recognizing information on vehicle registration plate of object - Google Patents

Device and method for recognizing information on vehicle registration plate of object Download PDF

Info

Publication number
KR102419698B1
KR102419698B1 KR1020200065168A KR20200065168A KR102419698B1 KR 102419698 B1 KR102419698 B1 KR 102419698B1 KR 1020200065168 A KR1020200065168 A KR 1020200065168A KR 20200065168 A KR20200065168 A KR 20200065168A KR 102419698 B1 KR102419698 B1 KR 102419698B1
Authority
KR
South Korea
Prior art keywords
license plate
information
vehicle
similarity
data
Prior art date
Application number
KR1020200065168A
Other languages
Korean (ko)
Other versions
KR20210147637A (en
Inventor
이승주
박구만
Original Assignee
서울과학기술대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울과학기술대학교 산학협력단 filed Critical 서울과학기술대학교 산학협력단
Priority to KR1020200065168A priority Critical patent/KR102419698B1/en
Priority to PCT/KR2021/006689 priority patent/WO2021242048A1/en
Publication of KR20210147637A publication Critical patent/KR20210147637A/en
Application granted granted Critical
Publication of KR102419698B1 publication Critical patent/KR102419698B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G06K9/6201—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

객체의 번호판 정보를 인식하는 장치는 기저장된 번호판 정보 및 가상 환경 정보에 기초하여 가상 객체 번호판 데이터를 생성하는 번호판 생성부, 실제 객체 번호판 데이터 및 가상 객체 번호판 데이터 간의 유사도를 도출하는 유사도 도출부, 도출된 유사도에 기초하여 번호판 검출 모델을 학습시키는 학습부; 및 학습된 번호판 검출 모델을 이용하여 실제 객체의 번호판 정보를 인식하는 번호판 인식부를 포함할 수 있다. The device for recognizing the license plate information of the object is a license plate generation unit for generating virtual object license plate data based on the previously stored license plate information and virtual environment information, a similarity derivation unit for deriving a degree of similarity between the real object license plate data and the virtual object license plate data, derived A learning unit for learning the license plate detection model based on the similarity; And by using the learned license plate detection model may include a license plate recognition unit for recognizing the license plate information of the real object.

Description

객체의 번호판 정보를 인식하는 장치 및 방법{DEVICE AND METHOD FOR RECOGNIZING INFORMATION ON VEHICLE REGISTRATION PLATE OF OBJECT}DEVICE AND METHOD FOR RECOGNIZING INFORMATION ON VEHICLE REGISTRATION PLATE OF OBJECT}

본 발명은 객체의 번호판 정보를 인식하는 장치 및 방법에 관한 것이다. The present invention relates to an apparatus and method for recognizing license plate information of an object.

최근 딥러닝 기술의 발달로 딥러닝 신경망을 학습시키기 위한 학습 데이터에 대한 중요성이 강조되고 있다. 특히 학습 데이터가 필요한 지도 학습 기반의 딥러닝 모델의 경우, 학습 데이터의 양과 질에 비례하여 좋은 성능을 보이기 때문에 지도 학습 기반의 딥러닝 모델을 학습시키기 위해서는 데이터의 양과 질이 핵심적인 요소이다. 그러나 양질의 학습 데이터를 확보하기에는 많은 시간적, 금전적 자원이 소모된다. With the recent development of deep learning technology, the importance of learning data for learning deep learning neural networks is being emphasized. In particular, supervised learning-based deep learning models that require learning data show good performance in proportion to the quantity and quality of learning data. However, it consumes a lot of time and money resources to secure high-quality learning data.

딥러닝 모델의 경우, 특정 분야에 대응하는 학습 데이터의 특성에 따라 객체 인식의 변동률 변화 폭이 크다. 예를 들어, 높은 위치에서 촬영 기기(예컨대, 드론, 차량진출입의 주차차단기에 설치된 카메라 등)를 통해 촬영된 차량 번호판 데이터를 학습데이터로 사용할 경우, 딥러닝 모델을 이용한 객체 인식의 성능은 크게 떨어질 수 있다. In the case of a deep learning model, the change in the rate of change of object recognition is large depending on the characteristics of the learning data corresponding to a specific field. For example, when vehicle license plate data captured by a photographing device (e.g., a drone, a camera installed in a parking blocker of vehicle entrance, etc.) from a high position is used as learning data, the performance of object recognition using a deep learning model will be significantly reduced. can

한편, 다양한 모양과 크기를 갖는 차량용 번호판 데이터는 실제 도로에 설치된 영상 촬영 장치로부터 획득될 수 있으나, 개인의 사적인 정보를 갖는 차량용 번호판 데이터의 획득에는 큰 제약이 따르게 될 수 밖에 없다. On the other hand, vehicle license plate data having various shapes and sizes may be obtained from an image photographing device installed on an actual road, but there is no choice but to impose great restrictions on the acquisition of vehicle license plate data having personal information.

또한, 차량용 번호판 데이터의 규격이 변경되거나 새롭게 추가된다면 이를 반영하기 위하여 차량용 번호판 데이터를 수집 및 확보하는 과정에서 막대한 시간적, 금전적인 비용이 들어간다. In addition, if the specification of vehicle license plate data is changed or newly added, a huge amount of time and money is incurred in the process of collecting and securing vehicle license plate data to reflect this.

예를 들어, 최근 차량 번호판이 7자리에서 8자리로 변경되고, 전기차의 번호판 색상이 변경되었다. 이러한 신규번호판의 보급 이후 대다수의 주차차단기에 설치된 번호판 인식프로그램은 신규 번호판을 제대로 인식하지 못하여 주차 서비스를 이용하는 사용자들은 불편을 겪게 되었다. For example, recently, license plates have been changed from 7 digits to 8 digits, and the color of license plates for electric vehicles has been changed. After the dissemination of these new license plates, the license plate recognition program installed in most parking blockers did not properly recognize the new license plate, causing inconvenience to users using the parking service.

다른 예로, 선박을 식별하기 위한 선박 번호판은 배가 부두에 정박할 때 획득할 수 있다. 하지만, 이러한 조건에서 촬영한 선박 번호판을 실제 선박이 조업할 때 선박 확인을 위해 사용하게 될 경우, 실제 환경과의 괴리감으로 인해 선박 인식에 도움이 되지 않을 확률이 높다. As another example, a ship license plate for identifying a ship may be obtained when the ship is anchored at a pier. However, if a ship license plate photographed under these conditions is used to identify a ship when an actual ship is operating, it is highly likely that it will not be helpful for ship recognition due to a sense of separation from the real environment.

따라서, 객체의 번호판 검출 및 내부 문자 인식 알고리즘을 딥러닝을 활용하여 설계하기 위한 데이터를 확보하기 위한 연구가 필요하다. Therefore, research is needed to secure data for designing an object's license plate detection and internal character recognition algorithm using deep learning.

한국등록특허공보 제10-1979654호 (2019.05.13. 등록)Korean Patent Publication No. 10-1979654 (Registered on May 13, 2019)

본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 번호판 정보 및 가상 환경 정보에 기초하여 생성된 가상 객체 번호판 데이터 및 실제 객체 번호판 데이터 간의 유사도에 기초하여 번호판 검출 모델을 학습시키고, 학습된 번호판 검출 모델을 통해 실제 객체의 번호판 정보를 인식하고자 한다. The present invention is to solve the problems of the prior art described above, and based on the similarity between the virtual object license plate data and real object license plate data generated based on license plate information and virtual environment information, learning a license plate detection model, the learned license plate We want to recognize the license plate information of the real object through the detection model.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다. However, the technical problems to be achieved by the present embodiment are not limited to the technical problems described above, and other technical problems may exist.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 객체의 번호판 정보를 인식하는 장치는 기저장된 번호판 정보 및 가상 환경 정보에 기초하여 가상 객체 번호판 데이터를 생성하는 번호판 생성부; 실제 객체 번호판 데이터 및 상기 가상 객체 번호판 데이터 간의 유사도를 도출하는 유사도 도출부; 상기 도출된 유사도에 기초하여 번호판 검출 모델을 학습시키는 학습부; 및 상기 학습된 번호판 검출 모델을 이용하여 실제 객체의 번호판 정보를 인식하는 번호판 인식부를 포함할 수 있다. As a technical means for achieving the above-described technical problem, the device for recognizing the license plate information of the object according to the first aspect of the present invention is a license plate generation unit for generating virtual object license plate data based on the pre-stored license plate information and virtual environment information ; a similarity deriving unit for deriving a degree of similarity between the real object license plate data and the virtual object license plate data; a learning unit for learning a license plate detection model based on the derived similarity; and a license plate recognition unit for recognizing license plate information of an actual object using the learned license plate detection model.

본 발명의 제 2 측면에 따른 객체의 번호판의 정보를 인식하는 방법은 기저장된 번호판에 대한 정보 및 가상 환경 정보에 기초하여 가상 객체 번호판 데이터를 생성하는 단계; 실제 객체 번호판 데이터 및 상기 가상 객체 번호판 데이터 간의 유사도를 도출하는 단계; 상기 도출된 유사도에 기초하여 번호판 검출 모델을 학습시키는 단계; 및 상기 학습된 번호판 검출 모델을 이용하여 실제 객체의 번호판 정보를 인식하는 단계를 포함할 수 있다. A method for recognizing information on a license plate of an object according to a second aspect of the present invention includes: generating virtual object license plate data based on pre-stored information about the license plate and virtual environment information; deriving a similarity between the real object license plate data and the virtual object license plate data; learning a license plate detection model based on the derived similarity; And using the learned license plate detection model may include the step of recognizing the license plate information of the real object.

상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.The above-described problem solving means are merely exemplary, and should not be construed as limiting the present invention. In addition to the exemplary embodiments described above, there may be additional embodiments described in the drawings and detailed description.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 본 발명은 번호판 정보 및 가상 환경 정보에 기초하여 생성된 가상 객체 번호판 데이터 및 실제 객체 번호판 데이터 간의 유사도에 기초하여 번호판 검출 모델을 학습시키고, 학습된 번호판 검출 모델을 통해 실제 객체의 번호판 정보를 인식할 수 있다. According to any one of the above-described problem solving means of the present invention, the present invention trains the license plate detection model based on the similarity between the virtual object license plate data and the real object license plate data generated based on license plate information and virtual environment information, learning It is possible to recognize the license plate information of the real object through the license plate detection model.

이를 통해, 본 발명은 객체 번호판의 샘플 데이터를 대량으로 생성할 수 있어 객체 번호판을 수집하기 위해 소요되는 시간 및 비용을 절감할 수 있다. 또한, 본 발명은 실제 객체 번호판의 업데이트 버전을 가상 객체 번호판 데이터로도 생성할 수 있기 때문에 산업현장에 빠르게 대응할 수 있고, 실제 객체 번호판을 이용하는 것이 아닌 가상 객체 번호판 데이터를 생성하기 때문에 개인 정보 침해 문제가 발생하지 않는다. 또한, 본 발명은 다양한 환경(예컨대, 기상 환경 등)을 고려하여 생성된 가상 객체 번호판 데이터 및 실제 객체 번호판 데이터 간의 유사도에 기초하여 번호판 검출 모델에 학습시키기 때문에 실제 서비스 환경에서 실제 객체의 번호판 정보를 인식하는데 유리할 수 있다. Through this, the present invention can generate a large amount of sample data of the object license plate, it is possible to reduce the time and cost required to collect the object license plate. In addition, the present invention can quickly respond to industrial sites because an updated version of the real object license plate can be created as virtual object license plate data, and the problem of privacy infringement because it generates virtual object license plate data rather than using the real object license plate does not occur In addition, the present invention learns the license plate detection model based on the similarity between the virtual object license plate data and the real object license plate data generated in consideration of various environments (eg, weather environment, etc.), so the license plate information of the real object in the real service environment. It may be beneficial to recognize

도 1은 본 발명의 일 실시예에 따른, 번호판 인식 장치의 블록도이다.
도 2a 내지 2c는 본 발명의 일 실시예에 따른, 번호판에 대한 정보를 추출 및 생성하는 방법을 설명하기 위한 도면이다.
도 3a 내지 3d는 본 발명의 일 실시예에 따른, 가상 객체 번호판 데이터를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른, 가상 객체 번호판 데이터를 실제 배경 데이터에 합성시킨 결과를 나타낸 도면이다.
도 5a 내지 5c는 본 발명의 일 실시예에 따른, 실제 객체의 번호판 정보를 인식하는 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른, 객체의 번호판 정보를 인식하는 방법을 나타낸 흐름도이다. 1 is a block diagram of a license plate recognition apparatus according to an embodiment of the present invention.
2a to 2c are diagrams for explaining a method of extracting and generating information about a license plate, according to an embodiment of the present invention.
3A to 3D are diagrams illustrating virtual object license plate data according to an embodiment of the present invention.
4 is a view showing a result of synthesizing virtual object license plate data with actual background data, according to an embodiment of the present invention.
5a to 5c are diagrams for explaining a method of recognizing license plate information of a real object, according to an embodiment of the present invention.
6 is a flowchart illustrating a method of recognizing license plate information of an object, according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. However, the present invention may be embodied in several different forms and is not limited to the embodiments described herein. And in order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. Throughout the specification, when a part is "connected" with another part, this includes not only the case of being "directly connected" but also the case of being "electrically connected" with another element interposed therebetween. . Also, when a part "includes" a certain component, it means that other components may be further included, rather than excluding other components, unless otherwise stated.

본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. In this specification, a "part" includes a unit realized by hardware, a unit realized by software, and a unit realized using both. In addition, one unit may be implemented using two or more hardware, and two or more units may be implemented by one hardware.

본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다. Some of the operations or functions described as being performed by the terminal or device in this specification may be instead performed by a server connected to the terminal or device. Similarly, some of the operations or functions described as being performed by the server may also be performed in a terminal or device connected to the corresponding server.

이하, 첨부된 구성도 또는 처리 흐름도를 참고하여, 본 발명의 실시를 위한 구체적인 내용을 설명하도록 한다. Hereinafter, detailed contents for carrying out the present invention will be described with reference to the accompanying configuration diagram or process flow diagram.

도 1은 본 발명의 일 실시예에 따른, 번호판 인식 장치(10)의 블록도이다. 1 is a block diagram of a license plate recognition device 10 according to an embodiment of the present invention.

도 1을 참조하면, 번호판 인식 장치(10)는 번호판 생성부(100), 유사도 도출부(110), 선정부(120), 번호판 합성부(130), 학습부(140) 및 번호판 인식부(150)를 포함할 수 있다. 다만, 도 1에 도시된 번호판 인식 장치(10)는 본 발명의 하나의 구현 예에 불과하며, 도 1에 도시된 구성요소들을 기초로 하여 여러 가지 변형이 가능하다. Referring to FIG. 1 , the license plate recognition device 10 includes a license plate generating unit 100 , a similarity deriving unit 110 , a selecting unit 120 , a license plate combining unit 130 , a learning unit 140 and a license plate recognition unit ( 150) may be included. However, the license plate recognition device 10 shown in FIG. 1 is only one embodiment of the present invention, and various modifications are possible based on the components shown in FIG. 1 .

이하에서는 도 1과 함께 도 2a 내지 5c를 함께 참조하여 설명하기로 한다. Hereinafter, it will be described with reference to FIGS. 2A to 5C together with FIG. 1 .

모든 객체(예컨대, 차량, 오토바이, 선박, 도로명 표지판 등)의 번호판은 번호판의 생김새(번호판의 모양, 색상, 재질)가 다르고, 번호판의 문자 영역(즉, 글자 위치) 및 폰트가 각각 다르다. 또한, 객체 번호판의 유형에 따라 번호판의 글자수가 달라질 수 있고, 객체 번호판에 지역 문자가 존재하거나 없을 수도 있다. 따라서, 객체 번호판의 유형마다 번호판의 생김새, 문자 영역의 위치, 폰트를 각각 다르게 설정할 필요가 있다. The license plate of all objects (eg, vehicle, motorcycle, ship, road name sign, etc.) has a different appearance (shape, color, material of the license plate) of the license plate, and the character area (ie, character position) and font of the license plate are different. In addition, the number of characters on the license plate may vary depending on the type of object license plate, and local characters may or may not exist on the object license plate. Therefore, it is necessary to set the appearance of the license plate, the position of the character area, and the font differently for each type of object license plate.

또한, 카메라에 의해 촬영된 번호판 영상의 경우, 주변 환경에 의해 번호판에 대한 시야가 가려지거나 흐릿하게 보이는 등의 상황이나 번호판의 노후화 정도 등에 따라 실제 번호판의 식별이 어려울 수 있다. In addition, in the case of the license plate image taken by the camera, it may be difficult to identify the actual license plate depending on the circumstances such as the view of the license plate is obscured or blurred by the surrounding environment or the degree of aging of the license plate.

본 발명은 이러한 문제점들을 고려하여 가상 객체 번호판 데이터를 생성할 수 있다. The present invention can generate virtual object license plate data in consideration of these problems.

번호판 환경 생성부(미도시)는 기수집된 복수의 실제 객체(예컨대, 차량, 선박 및 도로명 표지판 등)의 번호판 데이터에 기초하여 번호판에 대한 정보 및 가상 환경 정보를 다양하게 생성할 수 있다. 이 때, 생성된 번호판에 대한 정보는 번호판 정보 DB(미도시)에 저장되고, 가상 환경 정보는 가상 환경 정보 DB(미도시)에 저장될 수 있다. 여기서, 번호판에 대한 정보는 예를 들어, 번호판 배경 색상 및 배경 형식, 번호판의 모양, 재질(번호판의 코팅 또는 필름 재질), 색상, 문자 영역, 텍스트의 폰트 및 위치 중 적어도 하나 이상을 포함할 수 있다. 가상 환경 정보는 예를 들어, 번호판의 노후화 정보(부식 정도), 기상 정보(예컨대, 안개, 비, 맑음 등), 조도 정보(예컨대, 역광 등), 번호판의 촬영 각도 정보 및 주야간 정보 중 적어도 하나 이상을 포함할 수 있다.The license plate environment generation unit (not shown) may variously generate information about the license plate and virtual environment information based on license plate data of a plurality of pre-collected real objects (eg, vehicles, ships, road name signs, etc.). At this time, information on the generated license plate may be stored in the license plate information DB (not shown), and the virtual environment information may be stored in the virtual environment information DB (not shown). Here, the information on the license plate may include, for example, at least one or more of the license plate background color and background format, the shape of the license plate, material (coating or film material of the license plate), color, character area, font and position of text. have. Virtual environment information, for example, aging information (corrosion degree) of the license plate, weather information (eg, fog, rain, sunny, etc.), illuminance information (eg, backlight, etc.), at least one of the photographing angle information of the license plate and day/night information may include more than one.

예를 들어, 도 2a 내지 2b를 함께 참조하면, 번호판 환경 생성부(미도시)는 기수집된 복수의 실제 객체의 번호판 데이터로부터 문자 영역(보라색) 및 문자 영역이 포함된 배경 영역(빨간색)에 대한 정보를 추출할 수 있다. 예를 들어, 번호판 환경 생성부(미도시)는 문자 영역 및 배경 영역의 좌표 정보를 이용하여 실제 객체 번호판 데이터로부터 문자 영역 및 문자 영역이 포함된 배경 영역에 대한 정보를 추출하고, 추출된 문자 영역 및 배경 영역에 대한 정보를 번호판 정보 DB(미도시)에 저장할 수 있다. For example, referring to Figures 2a to 2b together, the license plate environment generation unit (not shown) from the license plate data of a plurality of pre-collected real objects to the text area (purple) and the background area including the text area (red) to information can be extracted. For example, the license plate environment generation unit (not shown) extracts information about the background region including the character region and the character region from the actual object license plate data by using the coordinate information of the character region and the background region, and the extracted character region And information on the background area may be stored in the license plate information DB (not shown).

도 2c를 참조하면, 번호판 환경 생성부(미도시)는 기수집된 복수의 실제 객체의 번호판 데이터로부터 번호판의 폰트 정보(예컨대, 폰트 크기, 폰트 색상, 폰트 기울기, 폰트 굵기 등)를 추출하여 이를 번호판 정보 DB(미도시)에 저장할 수 있다. 또한, 번호판 환경 생성부(미도시)는 추출된 번호판의 폰트 정보와 다른 유형의 폰트 정보를 생성하여 번호판 정보 DB(미도시)에 저장할 수 있다. Referring to Figure 2c, the license plate environment generation unit (not shown) extracts the font information (eg, font size, font color, font gradient, font thickness, etc.) of the license plate from the license plate data of a plurality of pre-collected real objects. It can be stored in the license plate information DB (not shown). In addition, the license plate environment generation unit (not shown) may generate a font information of a different type from the font information of the extracted license plate and store it in the license plate information DB (not shown).

번호판 환경 생성부(미도시)는 기수집된 복수의 실제 객체의 번호판 데이터로부터 번호판의 실제 환경 정보(예컨대, 실제 번호판의 빛반사 정도, 녹슨 정도, 문자 영역 내 문자의 지워진 정도 등)를 추출하여 이를 가상 환경 정보 DB(미도시)에 저장할 수 있다. 또한, 번호판 환경 생성부(미도시)는 추출된 실제 환경 정보와 다른 유형의 가상 환경 정보를 생성하여 이를 가상 환경 정보 DB(미도시)에 저장할 수 있다. The license plate environment generation unit (not shown) extracts the actual environmental information of the license plate (eg, the degree of light reflection of the actual license plate, the degree of rusting, the degree of erased characters in the character area, etc.) from the license plate data of a plurality of previously collected real objects. This may be stored in a virtual environment information DB (not shown). In addition, the license plate environment generation unit (not shown) may generate a different type of virtual environment information from the extracted real environment information and store it in a virtual environment information DB (not shown).

번호판 생성부(100)는 기저장된 번호판 정보 및 가상 환경 정보에 기초하여 가상 객체의 가상 객체 번호판 데이터를 생성할 수 있다. 여기서, 가상 객체는 예를 들어, 차량, 선박 및 도로명 표지판 중 적어도 하나를 포함할 수 있다. The license plate generation unit 100 may generate virtual object license plate data of a virtual object based on pre-stored license plate information and virtual environment information. Here, the virtual object may include, for example, at least one of a vehicle, a ship, and a road name sign.

도 3a를 참조하면, 번호판 생성부(100)는 번호판 정보 DB(미도시)로부터 추출된 번호판 배경 색상 및 형식에 따라 가상 객체 번호판 데이터의 배경 색상 및 형식을 적용하여 가상 객체 번호판 데이터를 생성할 수 있다. Referring to FIG. 3a, the license plate generation unit 100 may generate virtual object license plate data by applying the background color and format of the virtual object license plate data according to the license plate background color and format extracted from the license plate information DB (not shown). have.

도 3b를 참조하면, 번호판 생성부(100)는 번호판 정보 DB(미도시)로부터 추출된 적어도 하나의 폰트 정보를 가상 객체(차량, 가상 선박, 가상 도로명 표지판)의 번호판 데이터를 구성하는 문자 폰트에 적용함으로써 가상 객체 번호판 데이터를 생성할 수 있다. Referring to Figure 3b, the license plate generation unit 100 is at least one font information extracted from the license plate information DB (not shown) to the character font constituting the license plate data of the virtual object (vehicle, virtual vessel, virtual road name sign) By applying it, virtual object license plate data can be created.

도 3c를 참조하면, 번호판 생성부(100)는 가상 환경 정보 DB(미도시)로부터 추출된 적어도 하나의 가상 환경 정보에 기초하여 가상 객체(차량, 가상 선박, 가상 도로명 표지판)의 번호판 데이터에 다양한 환경 정보를 적용함으로써 가상 객체 번호판 데이터를 생성할 수 있다. 예를 들어, 번호판 생성부(100)는 번호판의 배경 색상, 문자 영역 내 텍스트 등을 기상 환경, 조도 변화 및 노후화 정도(녹슬거나 문자의 지워짐 정도), 주야간 정보 등에 따라 변화시킴으로써 가상 객체 번호판 데이터를 다양하게 생성할 수 있다. Referring to Figure 3c, the license plate generation unit 100 is based on at least one virtual environment information extracted from the virtual environment information DB (not shown) to the license plate data of the virtual object (vehicle, virtual vessel, virtual road name sign) various By applying the environment information, virtual object license plate data can be created. For example, the license plate generation unit 100 by changing the background color of the license plate, text in the text area, etc. according to the weather environment, illuminance change and aging degree (rust or erased degree of characters), day and night information, etc. virtual object license plate data It can be created in various ways.

도 3d를 참조하면, 실제 객체를 촬영하는 카메라의 설치 위치 및 촬영 각도에 기초하여 같은 번호판 이미지라도 다르게 보이기 때문에 이러한 특징을 가상 객체 번호판 데이터에 반영해야 한다. 이를 위해, 번호판 생성부(100)는 카메라의 설치 위치 및 촬영 각도를 다르게 하여 3D 워핑 기술을 통해 가상 객체 번호판의 크기(또는 형태, 회전 등)를 변형시킬 수 있다. Referring to FIG. 3D, since even the same license plate image looks different based on the installation position and shooting angle of the camera for photographing the real object, these characteristics should be reflected in the virtual object license plate data. To this end, the license plate generator 100 may change the size (or shape, rotation, etc.) of the license plate of a virtual object through 3D warping technology by varying the installation position and shooting angle of the camera.

일 실시예로, 번호판 생성부(100)는 실제 객체 번호판 이미지(또는 국가에서 배포한 규격이 포함된 번호판 이미지)를 입력받은 경우, 실제 객체 번호판 이미지로부터 문자 영역 및 배경 영역을 추출하고, 추출된 문자 영역에 포함될 텍스트 형식과 추출된 배경 영역에 적용할 배경 색상을 번호판 정보 DB(미도시)로부터 선택할 수 있다. 예를 들어, 번호판 생성부(100)는 문자 영역에 들어갈 텍스트가 차량번호판의 텍스트인 경우, [city name] [kor code] [front number] [behind number] 순의 형식에 기초하여 차량번호판의 텍스트(예컨대, 서울 가 11 1111, 강원 나 222 2222)를 생성할 수 있다. In one embodiment, when the license plate generation unit 100 receives an actual object license plate image (or a license plate image including a standard distributed by the country), extracts a text area and a background area from the actual object license plate image, and the extracted A text format to be included in the text area and a background color to be applied to the extracted background area can be selected from the license plate information DB (not shown). For example, when the text to be entered into the text area is the text of the license plate, the license plate generating unit 100 may include the text of the license plate based on the format of [city name] [kor code] [front number] [behind number]. (For example, 11 1111 Seoul Street, 222 2222 Gangwon Na) can be created.

또한, 번호판 생성부(100)는 번호판 정보 DB(미도시)로부터 문자 영역에 포함될 텍스트의 폰트 정보(예컨대, 글씨체, 글씨크기, 굵기 및 색상 등)을 선택할 수 있다. 또한, 번호판 생성부(100)는 선택된 문자 영역의 텍스트 형식, 배경 색상 및 폰트 정보에 기초하여 가상 객체의 가상 객체 번호판 데이터를 생성할 수 있다. In addition, the license plate generation unit 100 may select the font information (eg, font, font size, thickness and color, etc.) of the text to be included in the character area from the license plate information DB (not shown). In addition, the license plate generation unit 100 may generate the virtual object license plate data of the virtual object based on the text format, background color and font information of the selected character area.

다시 도 1로 돌아오면, 유사도 도출부(110)는 실제 객체 번호판 데이터 및 가상 객체 번호판 데이터 간의 유사도를 도출할 수 있다. 예를 들어, 유사도 도출부(110)는 기설정된 비교 알고리즘(예컨대, 히스토그램 비교 알고리즘, 템플릿 매칭 알고리즘, 피처 매칭 알고리즘 등)에 기초하여 실제 객체 번호판 데이터 및 가상 객체 번호판 데이터 간의 유사도를 도출할 수 있다. Returning to FIG. 1 again, the similarity deriving unit 110 may derive the similarity between the real object license plate data and the virtual object license plate data. For example, the similarity derivation unit 110 may derive the similarity between the real object license plate data and the virtual object license plate data based on a preset comparison algorithm (eg, histogram comparison algorithm, template matching algorithm, feature matching algorithm, etc.) .

학습부(140)는 도출된 유사도에 기초하여 번호판 검출 모델을 학습시킬 수 있다. The learning unit 140 may learn the license plate detection model based on the derived similarity.

유사도 도출부(110)는 기설정된 복수의 유사도에 기초하여 실제 객체 번호판 데이터 및 가상 객체 번호판 데이터 간의 유사도를 측정할 수 있다. 여기서, 기설정된 복수의 유사도는 색상 유사도, 폰트 유사도 및 문자열 위치 유사도 중 적어도 하나를 포함할 수 있다. 예를 들어, 유사도 도출부(110)는 실제 객체 번호판 데이터와 가상 객체 번호판 데이터 간의 배경 영역 및 문자열(문자 영역 내에 포함된 텍스트) 각각에 대한 색상 유사도를 측정할 수 있다. 또한, 유사도 도출부(110)는 실제 객체 번호판 데이터와 가상 객체 번호판 데이터 간의 문자열 특징에 대한 폰트 유사도를 측정할 수 있다. 또한, 유사도 도출부(110)는 실제 객체 번호판 데이터 및 가상 객체 번호판 데이터 간의 문자열 위치 정보에 기초하여 문자열 위치 유사도를 측정할 수 있다. 이후, 유사도 도출부(110)는 측정된 색상 유사도, 폰트 유사도 및 문자열 위치 유사도의 합산 결과가 기설정된 임계치를 초과하는지 여부를 판별할 수 있다. The similarity derivation unit 110 may measure the similarity between the real object license plate data and the virtual object license plate data based on a plurality of preset similarities. Here, the plurality of preset similarities may include at least one of a color similarity, a font similarity, and a character string position similarity. For example, the similarity deriving unit 110 may measure the color similarity for each of the background area and character string (text included in the character area) between the real object license plate data and the virtual object license plate data. In addition, the similarity derivation unit 110 may measure the font similarity of the character string between the actual object license plate data and the virtual object license plate data. In addition, the similarity derivation unit 110 may measure the string position similarity based on the string position information between the actual object license plate data and the virtual object license plate data. Thereafter, the similarity deriving unit 110 may determine whether the sum of the measured color similarity, font similarity, and character string position similarity exceeds a preset threshold.

선정부(120)는 적어도 하나의 가상 객체 번호판 데이터 중 실제 객체 번호판 데이터와의 유사도가 기설정된 임계치 이상인 가상 객체 번호판 데이터를 선정할 수 있다. 구체적으로, 선정부(120)는 적어도 하나의 가상 객체 번호판 데이터 중 실제 객체 번호판 데이터와의 색상 유사도, 폰트 유사도 및 문자열 위치 유사도에 대한 총 측정값이 기설정된 임계치 이상인 가상 객체 번호판을 선정할 수 있다. The selection unit 120 may select the virtual object license plate data of which the degree of similarity with the actual object license plate data is greater than or equal to a preset threshold value among at least one virtual object license plate data. Specifically, the selection unit 120 may select a virtual object license plate in which the total measurement values for color similarity, font similarity, and string position similarity with the actual object license plate data among at least one virtual object license plate data is equal to or greater than a preset threshold value. .

학습부(140)는 선정된 가상 객체 번호판 데이터를 이용하여 번호판 검출 모델을 학습시킬 수 있다. The learning unit 140 may learn the license plate detection model using the selected virtual object license plate data.

번호판 합성부(130)는 선정된 가상 객체 번호판 데이터를 실제 배경 데이터에 합성시킬 수 있다. 이 때, 실제 배경 데이터에 합성된 가상 객체 번호판 데이터는 가상 번호판 DB(미도시)에 저장될 수 있다. 예를 들어, 도 4를 참조하면, 번호판 합성부(130)는 가상 차량 번호판의 경우, 가상 차량 번호판 데이터를 실제 배경 데이터에 포함된 차량의 전면부에 위치한 번호판에 합성시킬 수 있다. 또는, 번호판 합성부(130)는 가상 선박 번호판의 경우, 가상 선박 번호판 데이터를 실제 배경 데이터에 포함된 선박의 특정 영역에 합성시킬 수 있다. The license plate synthesizing unit 130 may synthesize the selected virtual object license plate data with the actual background data. At this time, the virtual object license plate data synthesized in the actual background data may be stored in the virtual license plate DB (not shown). For example, referring to FIG. 4 , in the case of a virtual vehicle license plate, the license plate synthesizing unit 130 may synthesize the virtual vehicle license plate data into the license plate located on the front part of the vehicle included in the actual background data. Alternatively, in the case of a virtual vessel license plate, the license plate synthesizing unit 130 may synthesize the virtual vessel license plate data into a specific area of the vessel included in the actual background data.

학습부(140)는 실제 객체 번호판 데이터와의 유사도가 기설정된 임계치 이상인 가상 객체 번호판 데이터에 기초하여 번호판 검출 모델을 학습시킬 수 있다. The learning unit 140 may learn the license plate detection model based on the virtual object license plate data having a similarity with the actual object license plate data equal to or greater than a preset threshold.

번호판 인식부(150)는 학습된 번호판 검출 모델을 이용하여 실제 객체의 번호판 정보를 인식할 수 있다. 여기서, 실제 객체는 예를 들어, 차량, 선박 및 도로명 표지판 중 적어도 하나를 포함할 수 있다. The license plate recognition unit 150 may recognize license plate information of a real object using the learned license plate detection model. Here, the real object may include, for example, at least one of a vehicle, a ship, and a road name sign.

번호판 인식부(150)는 실제 객체가 차량인 경우, 번호판 검출 모델을 통해 인식된 차량의 차량 전면 번호판의 문자 정보 및 색상 정보로부터 차량에 대한 차량 용도 및 차량 허가 유무 중 적어도 하나를 판별할 수 있다. When the real object is a vehicle, the license plate recognition unit 150 may determine at least one of the vehicle use for the vehicle and the presence or absence of a vehicle permit from the text information and color information of the vehicle front license plate of the vehicle recognized through the license plate detection model. .

도 5a를 참조하면, 번호판 인식부(150)는 번호판 검출 모델을 통해 인식된 실제 차량의 차량 전면 번호판의 문자 정보에 기초하여 해당 실제 차량이 특정 구역(예컨대, 등록된 차량 번호만 입출입이 허용되는 구역)을 통과하도록 허가된 허가 차량인지 여부를 판별하고, 해당 실제 차량의 용도를 구분할 수 있다. Referring to Figure 5a, the license plate recognition unit 150 is based on the text information of the vehicle front license plate of the real vehicle recognized through the license plate detection model in a specific area (eg, only the registered vehicle number entry and exit is allowed) It is possible to determine whether the vehicle is a licensed vehicle permitted to pass through the zone), and to classify the intended use of the actual vehicle.

예를 들어, 번호판 인식부(150)는 차량 전면 번호판의 제 1 영역(501)에 포함된 문자 정보를 통해 실제 차량의 차량 종류를 판별할 수 있고, 차량 전면 번호판의 제 2 영역(503)에 포함된 문자 정보를 통해 실제 차량의 차량 용도(예컨대, 택배, 대여, 사업용 등)를 판별할 수 있고, 차량 전면 번호판의 제 3 영역(505)에 포함된 문자 정보를 통해 실제 차량이 특정 구역에 입출입이 허용된 차량인지 여부를 판별할 수 있다. For example, the license plate recognition unit 150 may determine the vehicle type of the actual vehicle through the text information included in the first region 501 of the vehicle front license plate, and in the second region 503 of the vehicle front license plate. Through the text information included, it is possible to determine the vehicle use of the actual vehicle (eg, courier service, rental, business use, etc.) It can be determined whether the vehicle is allowed to enter and exit.

도 5b를 참조하면, 번호판 인식부(150)는 번호판 검출 모델을 통해 인식된 실제 차량의 차량 전면 번호판의 색상 정보에 기초하여 실제 차량이 비사업용 차량인지, 자동차운수사업용 차랑인지, 전기차 차량인지, 관공서 소유차량인지 여부를 판별할 수 있다. 예를 들어, 번호판 인식부(150)는 실제 차량의 제 1 차량 전면 번호판(507)이 노란색 배경 색상에 검은색 텍스트로 구성되어 있는 경우, 해당 실제 차량을 사업용 차량(예컨대, 택시, 버스, 택배 차량 등)로서 판별할 수 있다. 다른 예로, 번호판 인식부(150)는 실제 차량의 제 2 차량 전면 번호판(509)이 흰색 배경 색상에 검은색 텍스트로 구성되어 있는 경우, 해당 실제 차량을 일반 차량으로서 판별할 수 있다. 또한, 번호판 인식부(150)는 실제 차량의 제 3 차량 전면 번호판(511)이 검은색 배경 색상에 흰색 텍스트로 구성되어 있는 경우, 해당 실제 차량을 외교용 차량으로서 판별할 수 있다. 다른 예로, 번호판 인식부(150)는 실제 차량의 제 4 차량 전면 번호판(513)에 전기자동차 표식 문양이 있고, 제 4 차량 전면 번호판(513)이 파란색 배경 색상에 검은색 텍스트로 구성되어 있는 경우, 해당 실제 차량을 친환경 차량으로서 판별할 수 있다. 다른 예로, 번호판 인식부(150)는 실제 차량의 제 5 차량 전면 번호판(515)이 주황색 배경 색상에 흰색 텍스트로 구성되어 있는 경우, 해당 실제 차량을 사업용 건설기계 중장비 차량으로서 판별할 수 있다. 또한, 번호판 인식부(150)는 실제 차량의 제 6 차량 전면 번호판(517)이 흰색 바탕 색상에 검은색 텍스트로 구성되어 있는 경우, 해당 실제 차량을 관공서 소유의 건설기계 중장비 차량으로서 판별할 수 있다. 또한, 번호판 인식부(150)는 실제 차량의 제 7 차량 전면 번호판(519)이 녹색 바탕 색상에 흰색 텍스트로 구성되어 있는 경우, 해당 실제 차량을 자가 소유의 건설기계 중장비 차량으로서 판별할 수 있다. 5B, the license plate recognition unit 150 is based on the color information of the vehicle front license plate of the real vehicle recognized through the license plate detection model whether the actual vehicle is a non-business vehicle, whether it is a vehicle for automobile transportation business, an electric vehicle vehicle, or a government office It can be determined whether the vehicle is owned or not. For example, when the license plate recognition unit 150 is configured with black text on a yellow background color of the first vehicle front license plate 507 of the real vehicle, the real vehicle is a business vehicle (eg, taxi, bus, courier). vehicle, etc.). As another example, when the second vehicle front license plate 509 of the real vehicle is configured with black text on a white background color, the license plate recognition unit 150 may determine the actual vehicle as a general vehicle. In addition, when the third vehicle front license plate 511 of the real vehicle is configured with white text on a black background color, the license plate recognition unit 150 may determine the actual vehicle as a diplomatic vehicle. As another example, when the license plate recognition unit 150 has an electric vehicle mark pattern on the fourth vehicle front license plate 513 of the actual vehicle, and the fourth vehicle front license plate 513 is composed of black text on a blue background color , the actual vehicle may be determined as an eco-friendly vehicle. As another example, the license plate recognition unit 150 may determine the actual vehicle as a heavy equipment vehicle for construction machinery when the fifth vehicle front license plate 515 of the actual vehicle is composed of white text on an orange background color. In addition, the license plate recognition unit 150 can determine the actual vehicle as a construction machine heavy equipment vehicle owned by a government office when the sixth vehicle front license plate 517 of the actual vehicle is composed of black text on a white background color. . In addition, when the seventh vehicle front license plate 519 of the actual vehicle is composed of white text on a green background color, the license plate recognition unit 150 may determine the actual vehicle as a self-owned heavy equipment vehicle.

도 5c를 참조하면, 번호판 인식부(150)는 차량의 차량 후면 이미지에 포함된 문자열 정보로부터 차량에 대한 차종 정보(521), 차량 연료 타입 정보(523), 차량 크기 정보(예컨대, 소형, 준중형, 중형, 대형, SUV) 및 배기량 정보 중 적어도 하나를 판별할 수 있다. Referring to FIG. 5C , the license plate recognition unit 150 includes vehicle model information 521, vehicle fuel type information 523, and vehicle size information (eg, small, semi-medium) for the vehicle from string information included in the vehicle rear image of the vehicle. , medium, large, SUV) and displacement information may be determined.

실제 객체가 선박인 경우, 번호판 인식부(150)는 번호판 검출 모델을 통해 선박의 선박 번호판에 포함된 문자 정보로부터 선박에 대한 어업 형태 정보, 선박 중량 정보 및 선박 번호 정보 중 적어도 하나를 인식할 수 있다. 또한, 번호판 인식부(150)는 인식된 정보에 기초하여 조업이 허가된 선박인지 여부를 판별할 수 있다. When the real object is a ship, the license plate recognition unit 150 may recognize at least one of fishing type information, ship weight information, and ship number information about the ship from the text information included in the ship license plate of the ship through the license plate detection model. have. In addition, the license plate recognition unit 150 may determine whether or not the vessel is permitted to operate on the basis of the recognized information.

실제 객체가 도로명 표지판인 경우, 번호판 인식부(150)는 번호판 검출 모델을 통해 도로명 표지판의 번호판으로부터 도로명 정보 및 건물 번호 정보를 인식할 수 있다. 이 때, 인식된 도로명 정보 및 건물 번호 정보는 차량의 경로 안내 검색 시에 사용될 수 있다. 예를 들어, 로드뷰, 네비게이션, 자율주행 시에 따른 목적지 건물의 검색을 하는 경우, 번호판 검출 모델을 통해 인식된 도로명 표지판이 설치된 위치 정보 및 도로명 표지판에 대한 정보에 기초하여 목적지 건물의 위치 정보를 보정하고, 보정된 위치 정보에 기초하여 목적지 건물의 경로를 안내할 수 있다. When the real object is a road name sign, the license plate recognition unit 150 may recognize the road name information and the building number information from the license plate of the road name sign through the license plate detection model. In this case, the recognized road name information and building number information may be used when searching for a vehicle's route guidance. For example, when searching for a destination building according to road view, navigation, and autonomous driving, the location information of the destination building is determined based on the location information where the road name sign recognized through the license plate detection model is installed and the information on the road name sign. Corrected, based on the corrected location information, it is possible to guide the route of the building to the destination.

한편, 당업자라면, 번호판 생성부(100), 유사도 도출부(110), 선정부(120), 번호판 합성부(130), 학습부(140) 및 번호판 인식부(150) 각각이 분리되어 구현되거나, 이 중 하나 이상이 통합되어 구현될 수 있음을 충분히 이해할 것이다. On the other hand, for those skilled in the art, each of the license plate generation unit 100, the similarity deriving unit 110, the selection unit 120, the license plate synthesis unit 130, the learning unit 140 and the license plate recognition unit 150 is implemented separately or , it will be fully understood that one or more of these may be integrated and implemented.

도 6은 본 발명의 일 실시예에 따른, 객체의 번호판 정보를 인식하는 방법을 나타낸 흐름도이다. 6 is a flowchart illustrating a method of recognizing license plate information of an object, according to an embodiment of the present invention.

도 6을 참조하면, 단계 S601에서 번호판 인식 장치(10)는 기저장된 번호판에 대한 정보 및 가상 환경 정보에 기초하여 가상 객체 번호판 데이터를 생성할 수 있다. Referring to FIG. 6 , the license plate recognition device 10 in step S601 may generate virtual object license plate data based on pre-stored information on license plates and virtual environment information.

단계 S603에서 번호판 인식 장치(10)는 실제 객체 번호판 데이터 및 가상 객체 번호판 데이터 간의 유사도를 도출할 수 있다. In step S603, the license plate recognition device 10 may derive a degree of similarity between the real object license plate data and the virtual object license plate data.

단계 S605에서 번호판 인식 장치(10)는 도출된 유사도에 기초하여 번호판 검출 모델을 학습시킬 수 있다. In step S605, the license plate recognition device 10 may learn a license plate detection model based on the derived similarity.

단계 S607에서 번호판 인식 장치(10)는 학습된 번호판 검출 모델을 이용하여 실제 객체의 번호판 정보를 인식할 수 있다. In step S607, the license plate recognition device 10 may recognize the license plate information of the real object using the learned license plate detection model.

상술한 설명에서, 단계 S601 내지 S607은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다. In the above description, steps S601 to S607 may be further divided into additional steps or combined into fewer steps, according to an embodiment of the present invention. In addition, some steps may be omitted if necessary, and the order between the steps may be changed.

본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. An embodiment of the present invention may also be implemented in the form of a recording medium including instructions executable by a computer, such as a program module executed by a computer. Computer-readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. Also, computer-readable media may include all computer storage media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다. The foregoing description of the present invention is for illustration, and those of ordinary skill in the art to which the present invention pertains can understand that it can be easily modified into other specific forms without changing the technical spirit or essential features of the present invention. will be. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive. For example, each component described as a single type may be implemented in a distributed manner, and likewise components described as distributed may also be implemented in a combined form.

본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is indicated by the following claims rather than the detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalent concepts should be construed as being included in the scope of the present invention. .

10: 번호판 인식 장치
100: 번호판 생성부
110: 유사도 도출부
120: 선정부
130: 번호판 합성부
140: 학습부
150: 번호판 인식부10: license plate recognition device
100: license plate generator
110: similarity derivation unit
120: selection unit
130: license plate composite
140: study unit
150: license plate recognition unit

Claims (10)

객체의 번호판 정보를 인식하는 장치에 있어서,
기저장된 번호판 정보 및 가상 환경 정보에 기초하여 가상 객체 번호판 데이터를 생성하는 번호판 생성부;
실제 객체 번호판 데이터 및 상기 가상 객체 번호판 데이터 간의 유사도를 도출하는 유사도 도출부;
상기 도출된 유사도에 기초하여 번호판 검출 모델을 학습시키는 학습부; 및
상기 학습된 번호판 검출 모델을 이용하여 실제 객체의 번호판 정보를 인식하는 번호판 인식부
를 포함하고,
상기 가상 환경 정보는 기상 정보 및 조도 정보 중 하나 이상을 포함하며,
상기 번호판 인식부는
상기 실제 객체가 도로명 표지판인 경우,
상기 번호판 검출 모델을 통해 상기 도로명 표지판의 번호판으로부터 도로명 정보 및 건물 번호 정보를 인식하고,
상기 인식된 도로명 정보 및 건물 번호 정보는 차량의 경로 안내 검색 시에 사용되는 것인, 번호판 인식 장치.
In the device for recognizing the license plate information of the object,
License plate generation unit for generating virtual object license plate data based on the pre-stored license plate information and virtual environment information;
a similarity deriving unit for deriving a degree of similarity between the real object license plate data and the virtual object license plate data;
a learning unit for learning a license plate detection model based on the derived similarity; and
License plate recognition unit for recognizing license plate information of a real object using the learned license plate detection model
including,
The virtual environment information includes at least one of weather information and illuminance information,
The license plate recognition unit
When the real object is a road name sign,
Recognizing the road name information and building number information from the license plate of the road name sign through the license plate detection model,
The recognized road name information and building number information will be used when searching for a vehicle's route guidance, a license plate recognition device.
 제 1 항에 있어서,
상기 객체는 차량, 선박 및 도로명 표지판 중 적어도 하나를 포함하는 것인, 번호판 인식 장치.
The method of claim 1,
The object will include at least one of a vehicle, a ship, and a road name sign, the license plate recognition device.
 제 1 항에 있어서,
상기 번호판 정보는 번호판의 모양, 재질, 색상, 문자 영역 및 폰트 중 하나 이상을 포함하고,
상기 가상 환경 정보는 상기 번호판의 노후화 정보 및 주야간 정보 중 하나 이상을 더 포함하는 것인, 번호판 인식 장치.
The method of claim 1,
The license plate information includes one or more of the shape, material, color, character area and font of the license plate,
The virtual environment information will further include at least one of aging information and day and night information of the license plate, license plate recognition device.
 제 1 항에 있어서,
적어도 하나의 가상 객체 번호판 데이터 중 상기 실제 객체 번호판 데이터와의 유사도가 기설정된 임계치 이상인 가상 객체 번호판 데이터를 선정하는 선정부 및
상기 선정된 가상 객체 번호판 데이터를 실제 배경 데이터에 합성시키는 번호판 합성부를 더 포함하는 것인, 번호판 인식 장치.
The method of claim 1,
A selection unit for selecting virtual object license plate data having a similarity with the real object license plate data of at least one virtual object license plate data is greater than or equal to a preset threshold, and
The license plate recognition device that further comprises a license plate synthesizing unit for synthesizing the selected virtual object license plate data to the actual background data.
 제 2 항에 있어서,
상기 학습부는
상기 실제 객체 번호판 데이터와의 유사도가 기설정된 임계치 이상인 가상 객체 번호판 데이터에 기초하여 번호판 검출 모델을 학습시키는 것인, 번호판 인식 장치.
3. The method of claim 2,
the learning unit
The license plate recognition device for learning the license plate detection model based on the virtual object license plate data having a similarity with the real object license plate data is greater than or equal to a preset threshold.
 제 1 항에 있어서,
상기 유사도 도출부는 기설정된 복수의 유사도에 기초하여 상기 실제 객체 번호판 데이터 및 상기 가상 객체 번호판 데이터 간의 유사도를 측정하고,
상기 기설정된 복수의 유사도는 색상 유사도, 폰트 유사도 및 문자열 위치 유사도 중 적어도 하나를 포함하는 것인, 번호판 인식 장치.
The method of claim 1,
The similarity derivation unit measures the similarity between the real object license plate data and the virtual object license plate data based on a plurality of preset similarities,
The plurality of preset similarities will include at least one of color similarity, font similarity, and character string position similarity, the license plate recognition device.
 제 1 항에 있어서,
상기 번호판 인식부는
상기 실제 객체가 차량인 경우,
상기 번호판 검출 모델을 통해 인식된 상기 차량의 차량 전면 번호판의 문자 정보 및 색상 정보로부터 상기 차량에 대한 차량 용도 및 차량 허가 유무 중 적어도 하나를 판별하고,
상기 차량의 차량 후면의 문자열 정보로부터 상기 차량에 대한 차종 정보, 차량 연료 타입 정보, 차량 크기 정보 및 배기량 정보 중 적어도 하나를 판별하는 것인, 번호판 인식 장치.
The method of claim 1,
The license plate recognition unit
When the real object is a vehicle,
Determining at least one of vehicle use and vehicle permission for the vehicle from text information and color information of the vehicle front license plate of the vehicle recognized through the license plate detection model,
The license plate recognition device that determines at least one of vehicle model information, vehicle fuel type information, vehicle size information, and displacement information about the vehicle from the character string information on the rear of the vehicle.
 제 1 항에 있어서,
상기 번호판 인식부는
상기 실제 객체가 선박인 경우,
상기 번호판 검출 모델을 통해 상기 선박의 선박 번호판의 문자 정보로부터 상기 선박에 대한 어업 형태 정보, 선박 중량 정보 및 선박 번호 정보 중 적어도 하나를 인식하고,
상기 인식된 정보에 기초하여 조업이 허가된 선박인지 여부를 판별하는 것인, 번호판 인식 장치.
The method of claim 1,
The license plate recognition unit
If the real object is a ship,
Recognizing at least one of fishing type information, vessel weight information, and vessel number information for the vessel from the text information of the vessel license plate of the vessel through the license plate detection model,
Based on the recognized information, the number plate recognition device to determine whether the operation is a permitted vessel.
 삭제delete 번호판 인식 장치에 의해 수행되는 객체의 번호판의 정보를 인식하는 방법에 있어서,
기저장된 번호판에 대한 정보 및 가상 환경 정보에 기초하여 가상 객체 번호판 데이터를 생성하는 단계;
실제 객체 번호판 데이터 및 상기 가상 객체 번호판 데이터 간의 유사도를 도출하는 단계;
상기 도출된 유사도에 기초하여 번호판 검출 모델을 학습시키는 단계; 및
상기 학습된 번호판 검출 모델을 이용하여 실제 객체의 번호판 정보를 인식하는 단계
를 포함하고,
상기 가상 환경 정보는 기상 정보 및 조도 정보 중 하나 이상을 포함하며,
상기 번호판 정보를 인식하는 단계는
상기 실제 객체가 도로명 표지판인 경우,
상기 번호판 검출 모델을 통해 상기 도로명 표지판의 번호판으로부터 도로명 정보 및 건물 번호 정보를 인식하고,
상기 인식된 도로명 정보 및 건물 번호 정보는 차량의 경로 안내 검색 시에 사용되는 것인, 번호판 인식 방법.
In the method of recognizing the information of the license plate of the object performed by the license plate recognition device,
Generating virtual object license plate data based on the information and virtual environment information about the pre-stored license plate;
deriving a similarity between the real object license plate data and the virtual object license plate data;
learning a license plate detection model based on the derived similarity; and
Recognizing license plate information of a real object using the learned license plate detection model
including,
The virtual environment information includes at least one of weather information and illuminance information,
Recognizing the license plate information is
When the real object is a road name sign,
Recognizing the road name information and building number information from the license plate of the road name sign through the license plate detection model,
The recognized road name information and building number information will be used when searching for a vehicle's route guidance, a license plate recognition method.
KR1020200065168A 2020-05-29 2020-05-29 Device and method for recognizing information on vehicle registration plate of object KR102419698B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200065168A KR102419698B1 (en) 2020-05-29 2020-05-29 Device and method for recognizing information on vehicle registration plate of object
PCT/KR2021/006689 WO2021242048A1 (en) 2020-05-29 2021-05-28 Method and apparatus for recognizing license plate information about object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200065168A KR102419698B1 (en) 2020-05-29 2020-05-29 Device and method for recognizing information on vehicle registration plate of object

Publications (2)

Publication Number Publication Date
KR20210147637A KR20210147637A (en) 2021-12-07
KR102419698B1 true KR102419698B1 (en) 2022-07-12

Family

ID=78744760

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200065168A KR102419698B1 (en) 2020-05-29 2020-05-29 Device and method for recognizing information on vehicle registration plate of object

Country Status (2)

Country Link
KR (1) KR102419698B1 (en)
WO (1) WO2021242048A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102480582B1 (en) * 2021-12-15 2022-12-23 주식회사 펜타게이트 Generating system of virtual license plate for number recognition learning and method of generating virtual license plate for number recognition learning using the same
CN114863374B (en) * 2022-05-05 2024-10-18 交通运输部水运科学研究所 Ship identification method under condition that ship license plate cannot be completely identified

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150125463A (en) * 2014-04-30 2015-11-09 렉스젠(주) Device for converting the vehicle number into the image, Method for controlling the same and Vehicle number reading system using the same
KR101657962B1 (en) * 2014-10-16 2016-09-21 렉스젠(주) Apparatus for inputting vehicle number and method thereof
KR101979654B1 (en) 2018-01-15 2019-05-17 주식회사 비엔인더스트리 License plate recognition apparatus and the method thereof
KR102077396B1 (en) * 2018-07-16 2020-02-13 재단법인 다차원 스마트 아이티 융합시스템 연구단 Method for generating license plate image using noise pattern and apparatus therefor
KR102179435B1 (en) * 2018-11-07 2020-11-16 주식회사 지디에프랩 Device for recognizing of image of contaminated car number plate
KR20190110967A (en) * 2019-09-11 2019-10-01 엘지전자 주식회사 Apparatus and method for identifying object

Also Published As

Publication number Publication date
KR20210147637A (en) 2021-12-07
WO2021242048A1 (en) 2021-12-02

Similar Documents

Publication Publication Date Title
CN110969160B (en) License plate image correction and recognition method and system based on deep learning
CN112997211B (en) Data distribution system, sensor device, and server
Janahiraman et al. Traffic light detection using tensorflow object detection framework
CN108091141B (en) License plate recognition system
US9792301B2 (en) Multi-query privacy-preserving parking management system and method
Yonetsu et al. Two-stage YOLOv2 for accurate license-plate detection in complex scenes
KR102419698B1 (en) Device and method for recognizing information on vehicle registration plate of object
CN112289037B (en) Motor vehicle illegal parking detection method and system based on high visual angle under complex environment
JP2011113440A (en) Number plate recognition program and number plate recognition device
CN112883936A (en) Method and system for detecting vehicle violation
Ketcham et al. Recognizing the Illegal Parking Patterns of Cars on the Road in Front of the Bus Stop Using the Support Vector Machine
Siniosoglou et al. Synthetic Traffic Signs Dataset for Traffic Sign Detection & Recognition in Distributed Smart Systems
CN115273032A (en) Traffic sign recognition method, apparatus, device and medium
KR101066081B1 (en) Smart information detection system mounted on the vehicle and smart information detection method using the same
CN116597413A (en) Real-time traffic sign detection method based on improved YOLOv5
CN110619256A (en) Road monitoring detection method and device
KR102287742B1 (en) Server for recognizing information on vehicle registration plates
KR102574770B1 (en) server and method for processing Traffic accident image based on black box image using artificial intelligence model
CN103761345A (en) Video retrieval method based on OCR character recognition technology
Naito et al. Damage detection method for buildings with machine-learning techniques utilizing images of automobile running surveys aftermath of the 2016 Kumamoto Earthquake
Baviskar et al. Auto Number Plate Recognition
KR102436142B1 (en) Method for providing probabilistic prediction service using violation factors photographed by intermittent camera and apparatus using the same
Zin et al. Robust road sign recognition using standard deviation
Brödermann et al. MUSES: The Multi-sensor Semantic Perception Dataset for Driving Under Uncertainty
Chetprayoon et al. Object-Based Vehicle Color Recognition in Uncontrolled Environment

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant