KR102078270B1

KR102078270B1 - Selfie support Camera System using augmented reality

Info

Publication number: KR102078270B1
Application number: KR1020180027883A
Authority: KR
Inventors: 이선미; 지용주
Original assignee: (주)벨류데이터
Priority date: 2018-03-09
Filing date: 2018-03-09
Publication date: 2020-02-19
Also published as: KR20190106404A

Abstract

셀피전용로드를 걷는 사용자를 자동식별하여 영상을 촬영하고 증강현실영상을 제공하는 자가촬영사진지원 카메라 시스템은, 고유식별번호가 각각 저장된 NFC 통신모듈 및 블루투스 통신모듈이 내장되는 AR 스티커와, 상기 셀피전용로드의 시점과 종점 사이의 일정구간마다 배치되며 사용자가 상기 AR 스티커를 소지한 상태로 상기 셀피전용로드를 이동할 경우, 상기 AR 스티커의 NFC 통신모듈 및 블루투스 통신모듈과 데이터 신호를 자동교환하는 복수의 센싱부와, 상기 복수의 센싱부로부터 상기 AR 스티커의 NFC 통신모듈 및 블루투스 통신모듈과 데이터 신호를 자동 교환한 시간정보와 데이터 신호의 송수신 세기를 제공받아 상기 사용자의 위치를 실시간으로 파악하는 사용자 위치 검출부와, 상기 사용자 위치 검출부로부터 전송된 상기 사용자의 위치정보를 토대로 상기 사용자를 식별하고 상기 셀피전용로드를 배경으로 상기 사용자의 영상을 적어도 한번 이상 자동 촬영하는 영상 촬영부와, 상기 영상 촬영부로부터 전송된 영상 데이터와 사용자의 위치정보를 데이터베이스화하여 저장하고 관리하며, 상기 사용자의 요청에 의해 테마별, 장소별로 상기 사용자의 영상에 증강현실영상을 합성하여 사용자의 휴대용 단말기로 제공하는 데이터 서버를 포함하여 구성되는 것을 특징으로 한다.Self-portrait photographic camera system that automatically photographs a user walking on a selfie-only rod and provides an augmented reality image, the AR sticker embedded with an NFC communication module and a Bluetooth communication module, each of which has a unique identification number, and the selfie It is arranged every certain period between the start point and the end point of the dedicated load, and when the user moves the selfie-only load while holding the AR sticker, a plurality of automatic data exchange with the NFC communication module and Bluetooth communication module of the AR sticker A user for detecting the position of the user in real time by receiving a sensing unit and the time information and the transmission and reception strength of the data signal automatically exchanged a data signal with the NFC communication module and Bluetooth communication module of the AR sticker from the plurality of sensing unit A position detector and a position of the user transmitted from the user position detector Identifying the user based on the beam and automatically photographing the user's image at least once against the background of the selfie-only load; and storing the database by storing the image data transmitted from the image capturing unit and the user's location information And a data server for synthesizing an augmented reality image to the user's image for each theme and place according to the user's request and providing the same to the user's portable terminal.

Description

Self-supporting photographic system with augmented reality

본 발명은 카메라 시스템에 관한 것으로서, 더 상세하게는 증강현실 기능이 적용된 자가촬영사진지원 카메라 시스템에 관한 것이다.The present invention relates to a camera system, and more particularly to a self-photographing picture support camera system to which an augmented reality function is applied.

최근의 휴대용 단말기는 기본적으로 카메라를 구비하고 있고, 카메라를 이용한 촬영 기능을 지원하고 있다. 사용자는 사진 촬영시, 휴대용 단말기의 키를 누르거나, 스크린 상의 버튼을 터치하여 카메라 촬영을 수행한다.Recently, portable terminals are basically equipped with a camera and support a shooting function using the camera. When the user takes a picture, the user presses a key of the portable terminal or touches a button on the screen to perform camera shooting.

한편, 사용자가 촬영 시, 스크린 상의 버튼을 터치할 경우, 일반적으로 엄지 손가락으로 터치하므로, 촬영시 휴대용 단말기를 쥔 손이 흔들리거나 손의 자세가 불안해 질 수 있으며, 특히 자가촬영(셀프촬영)시에는 휴대용 단말기가 더 흔들릴 수 있다.On the other hand, when a user touches a button on the screen during shooting, the user usually touches it with his or her thumb. Therefore, the hand holding the portable terminal may be shaken or the posture of the hand may be unstable. There is more portable terminal can be shaken.

따라서 이와 같은 문제점을 해결하기 위해 한국공개특허 제10-2013-0054576호, "셀프 카메라 촬영을 위한 방법 및 장치"가 제안되었으나, 상술한 셀프 카메라 촬영을 위한 방법 및 장치는 본인의 영상을 주변 환경과 함께 근거리, 중거리, 원거리 형태별로 자동 촬영하기가 어렵고, 촬영된 사진을 가공하여 제공하는 등의 다양한 고객 서비스를 제공하기 어렵다.Therefore, in order to solve such a problem, Korean Patent Publication No. 10-2013-0054576, "Method and Apparatus for Self-Shooting Camera" has been proposed. In addition, it is difficult to automatically photograph by near, middle, and long forms, and it is difficult to provide various customer services such as processing and providing photographed pictures.

KRKR 10-2013-005457610-2013-0054576 AA

본 발명은 상기와 같은 기술적 과제를 해결하기 위해 제안된 것으로, 셀피전용로드를 걷는 사용자를 자동식별하여 영상을 촬영하고 증강현실영상을 제공하는 자가촬영사진지원 카메라 시스템을 제공한다.The present invention has been proposed to solve the above technical problem, and provides a self-photographing photographic camera system for automatically photographing a user walking on a selfie-only rod to take an image and provide an augmented reality image.

상기 문제점을 해결하기 위한 본 발명의 일 실시예에 따르면, 셀피전용로드를 걷는 사용자를 자동식별하여 영상을 촬영하고 증강현실영상을 제공하는 자가촬영사진지원 카메라 시스템에 있어서, 고유식별번호가 각각 저장된 NFC 통신모듈 및 블루투스 통신모듈이 내장되는 AR 스티커와, 상기 셀피전용로드의 시점과 종점 사이의 일정구간마다 배치되며 사용자가 상기 AR 스티커를 소지한 상태로 상기 셀피전용로드를 이동할 경우, 상기 AR 스티커의 NFC 통신모듈 및 블루투스 통신모듈과 데이터 신호를 자동교환하는 복수의 센싱부와, 상기 복수의 센싱부로부터 상기 AR 스티커의 NFC 통신모듈 및 블루투스 통신모듈과 데이터 신호를 자동 교환한 시간정보와 데이터 신호의 송수신 세기를 제공받아 상기 사용자의 위치를 실시간으로 파악하는 사용자 위치 검출부와, 상기 사용자 위치 검출부로부터 전송된 상기 사용자의 위치정보를 토대로 상기 사용자를 식별하고 상기 셀피전용로드를 배경으로 상기 사용자의 영상을 적어도 한번 이상 자동 촬영하는 영상 촬영부와, 상기 영상 촬영부로부터 전송된 영상 데이터와 사용자의 위치정보를 데이터베이스화하여 저장하고 관리하며, 사용자의 요청에 의해 테마별, 장소별로 상기 사용자의 영상에 증강현실영상을 합성하여 사용자의 휴대용 단말기로 제공하는 데이터 서버를 포함하는 자가촬영사진지원 카메라 시스템이 제공된다.According to an embodiment of the present invention for solving the above problems, in the self-photographing photo support camera system for automatically photographing the user walking on the selfie-only rod and providing augmented reality image, each unique identification number is stored An AR sticker in which an NFC communication module and a Bluetooth communication module are embedded, and the AR sticker are disposed at predetermined intervals between the start point and the end point of the selfie-only rod, and when the user moves the selfie-only rod with the AR sticker. A plurality of sensing units for automatically exchanging data signals with the NFC communication module and the Bluetooth communication module, and time information and data signals for automatically exchanging data signals with the NFC communication module and the Bluetooth communication module of the AR sticker from the plurality of sensing units. User location check to identify the user's location in real time An image capturing unit for identifying the user based on the output unit and the position information of the user transmitted from the user position detecting unit and automatically photographing the image of the user at least once in the background of the selfie-only load, from the image capturing unit; And storing and managing the transmitted image data and the location information of the user as a database, and synthesizing the augmented reality image to the user's image by theme and place according to the user's request and providing it to the user's portable terminal. Self-photographed photographic camera system is provided.

또한, 본 발명에 포함되는 상기 영상 촬영부는, 타인의 얼굴의 위치를 자동으로 식별한 후 모자이크 마킹 처리하는 것을 특징으로 한다.In addition, the image capturing unit included in the present invention is characterized in that to automatically identify the position of the face of the other person after the mosaic marking process.

또한, 본 발명에 포함되는 상기 영상 촬영부는, 상기 사용자의 얼굴이 인식되었을 때 영상촬영을 진행하되 타인의 얼굴의 위치를 자동으로 식별한 후 모자이크 마킹 처리하는 것을 특징으로 한다.The image capturing unit included in the present invention may perform image capturing when the face of the user is recognized, and automatically identify a position of the face of another person and then perform a mosaic marking process.

또한, 본 발명에 포함되는 상기 사용자 위치 검출부는, 상기 복수의 센싱부로부터 상기 AR 스티커의 NFC 통신모듈 및 블루투스 통신모듈과 데이터 신호를 자동 교환한 시간정보와 데이터 신호의 송수신 세기를 제공받아, 상기 사용자의 시간별 이동방향 및 상대적인 위치정보를 실시간으로 파악하는 것을 특징으로 한다.In addition, the user position detection unit included in the present invention, receiving the strength of the transmission and reception of the time information and data signal automatically exchanged data signals with the NFC communication module and the Bluetooth communication module of the AR sticker from the plurality of sensing units, It is characterized by grasping the movement direction and the relative position information of the user in time.

또한, 본 발명에 포함되는 상기 복수의 센싱부는 음성인식모듈을 각각 더 포함하여 구성됨에 있어서, 상기 사용자가 AR 스티커를 어느 하나의 센싱부에 태깅하고, 음성인식모듈이 상기 사용자의 촬영시작 음성명령을 인식할 경우, 해당 센싱부는 상기 복수의 영상 촬영부로 촬영시작신호를 전송하는 것을 특징으로 한다.In addition, the plurality of sensing units included in the present invention further comprises a voice recognition module, respectively, the user tagging the AR sticker to any one of the sensing unit, the voice recognition module is the user's start recording voice command If it is recognized, the sensing unit is characterized in that for transmitting the recording start signal to the plurality of image capture unit.

본 발명의 실시예에 따른 자가촬영사진지원 카메라 시스템은 셀피전용로드를 걷는 사용자를 자동식별하여 영상을 자동촬영하고 증강현실영상을 제공할 수 있다. 즉, 테마별, 장소별로 사용자의 영상에 증강현실영상을 합성하여 사용자의 휴대용 단말기로 제공할 수 있다.Self-photographing picture support camera system according to an embodiment of the present invention can automatically identify the user walking on the self-dedicated rod can automatically take an image and provide an augmented reality image. That is, the augmented reality image may be synthesized with the user's image for each theme and place and provided to the user's portable terminal.

즉, 관광지를 방문하여 자동 셀피영상(정지영상, 동영상)촬영을 이용하려는 사용자에게 AR 스티커를 제공하고, 사용자가 셀피전용로드를 걸어가면서 관광 할 때 AR 스티커를 소지한 사용자를 영상 촬영부가 식별하여 자동으로 영상을 촬영하며, 촬영된 영상을 시간별, 장소별, 테마별로 구분하여 사용자의 휴대용 단말기로 제공할 수 있다. 이때, 촬영된 사용자의 영상에 증강현실영상을 합성하여 제공할 수 있다.In other words, the AR sticker is provided to the user who wants to visit the tourist spot and take automatic self-image (still image, video), and the image capturing unit identifies the user who carries the AR sticker when the user walks while walking on the selfie-only road. Automatically captures the image, and can be provided to the user's portable terminal by dividing the captured image by time, place, theme. In this case, the augmented reality image may be synthesized and provided to the captured image of the user.

또한, 본 발명의 실시예에 따른 AR 스티커를 이용한 자가촬영사진지원 카메라 시스템은, 제한된 화각에서 원하는 영상을 얻지 못하는 상황을 해결할 수 있을 뿐만 아니라 간단한 조작으로 본인의 영상을 주변 환경과 같이 근거리, 중거리, 원거리 형태별로 자동 촬영하고 네트워크 전송을 통해 사진을 전송하며, 본인의 요청 사진자료를 데이터베이스화 함으로서 향후에 방문시 과거 사진자료를 추가 요청 할 수 있다.In addition, the self-photographing photo support camera system using the AR sticker according to an embodiment of the present invention, not only can solve the situation in which the desired image is not obtained at a limited angle of view, but also close and medium distance of the user's image with a simple operation. In addition, by remotely taking pictures by type, sending pictures through network transmission, and by making a database of your own photo data, you can request additional past photo data for future visits.

도 1은 본 발명의 실시예에 따른 자가촬영사진지원 카메라 시스템(1)의 개념도
도 2는 본 발명의 일 실시예에 따른 자가촬영사진지원 카메라 시스템(1)의 구성도
도 3은 본 발명의 다른 실시예에 따른 자가촬영사진지원 카메라 시스템(2)의 구성도
도 4 및 도 5는 자가촬영사진지원 카메라 시스템(1, 2)에 의해 촬영된 영상의 예시도
도 6 내지 도 9는 사용자의 전체 이동경로를 지리 정보 체계(geographic information system, GIS)로 도식화하여 제공하는 예시도1 is a conceptual diagram of a self-photographing picture support camera system 1 according to an embodiment of the present invention
2 is a configuration diagram of a self-photographing photographic support camera system 1 according to an embodiment of the present invention.
3 is a configuration diagram of a self-photographing picture support camera system 2 according to another embodiment of the present invention.
4 and 5 are exemplary diagrams of images photographed by the self-photographing picture support camera system 1, 2
6 to 9 are diagrams for providing a schematic diagram of a user's entire movement path using a geographic information system (GIS).

이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 실시예를 첨부한 도면을 참조하여 설명하기로 한다.DETAILED DESCRIPTION Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings so that those skilled in the art may easily implement the technical idea of the present invention.

도 1은 본 발명의 실시예에 따른 자가촬영사진지원 카메라 시스템(1)의 개념도이다.1 is a conceptual diagram of a self-photographing picture support camera system 1 according to an embodiment of the present invention.

도 1을 참조하면, 자가촬영사진지원 카메라 시스템(1)은 AR 스티커(100), 복수의 센싱부(200), 사용자 위치 검출부(300), 영상 촬영부(400), 데이터 서버(500) 및 휴대용 단말기(600)를 포함하여 구성된다.Referring to FIG. 1, the self-photographing photographic camera system 1 includes an AR sticker 100, a plurality of sensing units 200, a user position detector 300, an image capturing unit 400, a data server 500, and the like. It is configured to include a portable terminal 600.

본 실시예에서 복수의 센싱부(200)는 제1 센싱부(210), 제2 센싱부(220), 제3 센싱부(230) 및 제4 센싱부(240) 총 4개가 구비된 예시를 들어 설명하며, 영상 촬영부(400)는 제1 영상 촬영부(410) 및 제2 영상 촬영부(420) 총 2개가 구비된 예시를 들어 설명한다. 즉, 자가촬영사진지원 카메라 시스템(1)에서 센싱부 및 영상 촬영부는 적어도 하나 이상이 구비되며 구비되는 수는 실시예에 따라 변경될 수 있다.In the present embodiment, the plurality of sensing units 200 includes an example in which a total of four first sensing units 210, second sensing units 220, third sensing units 230, and fourth sensing units 240 are provided. For example, the image capturing unit 400 will be described with an example in which a total of two first image capturing units 410 and second image capturing units 420 are provided. That is, at least one sensing unit and image capturing unit is provided in the self-photographing photo support camera system 1, and the number provided may be changed according to an embodiment.

기본적으로 자가촬영사진지원 카메라 시스템(1)은 셀피전용로드를 걷는 사용자를 자동식별하여 영상을 촬영하도록 구성된다. 여기에서 셀피전용로드는 도심의 관광지 구역, 국립공원의 관광지 구역 등에 지정되는 영역을 의미한다.Basically, the self-photographing picture support camera system 1 is configured to automatically identify a user walking on a selfie-only rod to take an image. Here, the selfie road means an area that is designated as a tourist destination area of a city or a tourist area of a national park.

즉, 자가촬영사진지원 카메라 시스템(1)은 사용자가 셀피전용로드를 이동할 때 셀피전용로드를 배경으로 사용자의 영상을 적어도 한번 이상 자동 촬영한 후 사용자의 휴대용 단말기(600)로 촬영된 영상을 전송한다.That is, when the user moves the selfie-only rod, the self-photographing photographic camera system 1 automatically photographs the user's image at least once in the background of the selfie-only rod and then transmits the captured image to the user's portable terminal 600. do.

AR 스티커(100)는 고유식별번호가 각각 저장된 NFC 통신모듈 및 블루투스 통신모듈이 내장되어 있다. 즉, AR 스티커(100)의 NFC 통신모듈은 단방향 또는 양방향 통신이 가능한 NFC 태그가 구비되어 있으며 NFC 태그에 사용자를 구별하기 위한 고유식별번호가 저장되어 있다. 또한, AR 스티커(100)의 블루투스 통신모듈에도 사용자를 구분하기 위한 고유식별번호가 저장되어 있다.AR sticker 100 has a built-in NFC communication module and Bluetooth communication module is stored with a unique identification number, respectively. That is, the NFC communication module of the AR sticker 100 is provided with an NFC tag capable of unidirectional or bidirectional communication, and a unique identification number for distinguishing a user is stored in the NFC tag. In addition, a unique identification number for distinguishing a user is also stored in the Bluetooth communication module of the AR sticker 100.

AR 스티커(100)는 사용자의 몸에 부착할 수 있는 배지형태나, 목걸이 형태, 팔찌 형태, 조끼 형태, 목도리 형태, 모자 형태 등으로 구성될 수 있을 것이다.The AR sticker 100 may be configured in a badge form, a necklace form, a bracelet form, a vest form, a shawl form, a hat form, etc., which can be attached to the user's body.

복수의 센싱부(200)는 셀피전용로드의 시점과 종점 사이의 일정구간마다 배치되어 있다.The plurality of sensing units 200 are disposed at predetermined intervals between the start point and the end point of the dedicated cell load.

사용자가 AR 스티커(100)를 소지한 상태로 셀피전용로드를 이동할 경우, 복수의 센싱부(200)는 각각의 통신허용 범위 내에 AR 스티커(100)가 진입할 때 AR 스티커(100)의 NFC 통신모듈 및 블루투스 통신모듈과 데이터 신호를 자동교환한다. 참고적으로 센싱부에는 촬영예정영상이나 촬영된 영상을 표시할 수 있는 디스플레이부가 더 구비될 수도 있다.When the user moves the selfie-only rod in a state of holding the AR sticker 100, the plurality of sensing units 200 when the AR sticker 100 enters within each communication allowable range NFC communication of the AR sticker 100 Automatically exchange data signal with module and Bluetooth communication module. For reference, the sensing unit may further include a display unit for displaying a scheduled image or a captured image.

AR 스티커(100)와 마찬가지로 복수의 센싱부(200)에도 NFC 통신모듈 및 블루투스 통신모듈이 각각 내장되어 있으므로, AR 스티커(100)에 내장된 통신모듈과 통신허용 범위 내에서 데이터 신호를 교환하도록 구성된다.Like the AR sticker 100, since the plurality of sensing units 200 have the NFC communication module and the Bluetooth communication module built therein, they are configured to exchange data signals within the communication allowable range with the communication module embedded in the AR sticker 100. do.

우선, NFC 통신모듈은 약 10cm 이내의 근접거리에서 RF 태깅방식을 이용하여 데이터 신호를 교환할 수 있으므로 사용자가 AR 스티커(100)를 각각의 센싱부에 직접 태깅할 때 데이터 신호를 상호 간에 교환하게 된다.First, since the NFC communication module can exchange data signals using an RF tagging method at a close distance within about 10 cm, when the user directly tags the AR sticker 100 on each sensing unit, the data signals are exchanged with each other. do.

이와 달리 블루투스 통신모듈은 기본적으로 수십 미터의 중거리나, 규격에 따라 수백 미터의 중장거리에서 데이터 신호를 교환할 수 있으므로, AR 스티커(100)를 소지한 사용자가 각각의 센싱부 주변을 이동할 때 AR 스티커(100)의 블루투스 통신모듈과 센싱부의 블루투스 통신모듈이 데이터 신호를 상호 간에 자동 교환하게 된다.In contrast, the Bluetooth communication module can exchange data signals at a medium distance of several tens of meters or a medium and long distance of hundreds of meters according to a standard, so that a user carrying an AR sticker 100 moves around each sensing unit. The Bluetooth communication module of the sticker 100 and the Bluetooth communication module of the sensing unit automatically exchange data signals with each other.

사용자 위치 검출부(300)는 복수의 센싱부(200)로부터 AR 스티커(100)의 NFC 통신모듈 및 블루투스 통신모듈과 데이터 신호를 자동 교환한 시간정보와 데이터 신호의 송수신 세기를 제공받아 이를 토대로 사용자의 위치를 실시간으로 파악한다. The user location detection unit 300 receives time information and data transmission / reception strength of data signals that are automatically exchanged with the NFC communication module and the Bluetooth communication module of the AR sticker 100 from the plurality of sensing units 200, and based on the received information. Know your location in real time.

즉, 사용자 위치 검출부(300)는 복수의 센싱부(200)로부터 AR 스티커(100)의 NFC 통신모듈 및 블루투스 통신모듈과 데이터 신호를 자동 교환한 시간정보와 데이터 신호의 송수신 세기를 제공받아, 사용자의 시간별 이동방향 및 상대적인 위치정보를 실시간으로 파악한다.That is, the user position detector 300 receives the intensity of the transmission and reception of the time information and the data signal which automatically exchanges the data signal with the NFC communication module and the Bluetooth communication module of the AR sticker 100 from the plurality of sensing units 200, To grasp the movement direction and relative location information of each hour in real time.

예를 들면, 사용자가 제1 센싱부(210)를 태깅하고 이동하여 제2 센싱부(220)를 다시 태깅했을 경우, 센싱부의 NFC 모듈에 태깅한 시간과 센싱부의 위치가 정확하게 파악될 수 있으므로, AR 스티커(100)를 소지한 사용자가 제1 센싱부(210) 주변에 있는지 또는 제2 센싱부(220) 주변에 있는지를 파악할 수 있다. For example, when the user tags and moves the first sensing unit 210 to retag the second sensing unit 220, the time tagged with the sensing module's NFC module and the position of the sensing unit may be accurately determined. The user having the AR sticker 100 may determine whether the user is near the first sensing unit 210 or the second sensing unit 220.

이때, AR 스티커(100)를 소지한 사용자가 제1 센싱부(210)와 제2 센싱부(220) 사이를 이동할 경우, 블루투스 통신모듈과의 데이터 송수신 세기를 통해 상대적인 위치를 간접적으로 파악할 수 있다. 즉, 제1 센싱부(210)와의 거리가 점점 멀어질수록 제1 센싱부(210)와의 데이터 송수신 세기가 점점 약해지고 제2 센싱부(220)와의 거리가 점점 가까워질수록 제2 센싱부(220)와의 데이터 송수신 세기가 점점 강해지므로 이를 토대로 사용자의 상대적인 위치를 파악할 수 있다.In this case, when the user carrying the AR sticker 100 moves between the first sensing unit 210 and the second sensing unit 220, the relative position may be indirectly determined through the data transmission / reception strength with the Bluetooth communication module. . That is, as the distance from the first sensing unit 210 becomes farther away, the strength of data transmission and reception with the first sensing unit 210 becomes weaker, and as the distance from the second sensing unit 220 becomes closer to the second sensing unit 220. ), The strength of data transmission and reception with the () is getting stronger and can be used to determine the relative position of the user.

따라서 NFC 통신모듈 및 블루투스 통신모듈의 데이터 교환 시간정보 및 데이터 송수신 세기를 모두 고려할 경우, 사용자 위치 검출부(300)는 사용자의 현재위치를 좀 더 정확하게 추정할 수 있다. 이때, 사용자 위치 검출부(300)는 데이터 교환 시간정보 및 데이터 송수신 세기를 고려하여 사용자의 예상 이동속도까지 추정한 후, 사용자의 예상 이동속도를 반영하여 사용자의 현재위치를 좀 더 정확하게 추정할 수도 있을 것이다.Accordingly, when considering both the data exchange time information and the data transmission / reception strength of the NFC communication module and the Bluetooth communication module, the user location detector 300 may estimate the current location of the user more accurately. In this case, the user location detector 300 may estimate the user's estimated moving speed in consideration of the data exchange time information and the data transmission / reception strength, and may estimate the current position of the user more accurately by reflecting the estimated moving speed of the user. will be.

영상 촬영부(400)는 사용자 위치 검출부(300)로부터 전송된 사용자의 위치정보를 토대로 사용자를 식별 한 후, 셀피전용로드를 배경으로 사용자의 영상을 적어도 한번 이상 자동 촬영한다. 즉, 영상 촬영부(400)는 사용자를 식별한 후 자연경관을 배경으로 자가촬영(selfie)을 진행할 수 있도록 동작한다.The image capturing unit 400 identifies the user based on the location information of the user transmitted from the user location detecting unit 300, and automatically photographs the user's image at least once in the background of a selfie-only load. That is, the image capturing unit 400 operates to identify a user and then proceed to take a selfie in the background of a natural landscape.

영상 촬영부(400)는 셀피전용로드 주변의 자연경관을 배경으로 사진을 촬영할 수 있는 위치에 설치된다.The image capturing unit 400 is installed at a position where the picture can be taken against the backdrop of the natural landscape around the dedicated selfie rod.

셀피전용로드가 산악지형 일 경우, 영상 촬영부(400)는 산 중턱과 같이 자연경관을 최적으로 촬영할 수 있는 위치에 설치되고, 셀피전용로드가 해안가 일 경우, 해안의 암석지대 또는 수중 구조물에 의해 지지되어 해상 위에 돌출된 형태로 설치될 수 있다.When the selfie rod is a mountainous terrain, the image capturing unit 400 is installed at a position capable of optimally photographing a natural landscape such as a mountain slope, and when the selfie rod is a coast, by a rocky area or an underwater structure of the coast It may be supported and installed in a form protruding above the sea.

사용자 위치 검출부(300)의 제어에 따라 영상 촬영부(400)의 촬영방향 및 줌 배율이 조절되며, 이러한 촬영예정영상은 실시간으로 센싱부의 디스플레이부에 표시되어, 사용자가 자가촬영사진을 용이하게 촬영할 수 있도록 지원하도록 구성될 수 있다. 여기에서 영상은 동영상 및 정지영상을 모두 포함하므로, 영상 촬영부(400)는 사용자의 선택에 의해 동영상 및 정지영상(사진)을 선택적으로 촬영할 수 있다.According to the control of the user position detector 300, the photographing direction and the zoom magnification of the image capturing unit 400 are adjusted, and the scheduled image is displayed on the display unit of the sensing unit in real time, so that the user can easily take a self-photographed picture. It can be configured to support. Since the image includes both a moving image and a still image, the image capturing unit 400 may selectively capture a moving image and a still image (photo) by a user's selection.

실시예에 따라 하나의 영상 촬영부(400)가 셀피전용로드를 모두 담당하도록 구성될 수 있고, 복수의 영상 촬영부(400)가 미리 할당된 셀피전용로드의 각 영역을 각각 담당하도록 구성될 수도 있을 것이다.According to an embodiment, one image capturing unit 400 may be configured to handle all of the selfie-only rods, and the plurality of image capturing units 400 may be configured to respectively cover each area of the predetermined selfie-only rods. There will be.

데이터 서버(500)는 영상 촬영부(400)로부터 전송된 영상 데이터를 데이터베이스화하여 저장하고 관리하고 촬영된 영상을 사용자의 휴대용 단말기(600)로 전송한다.The data server 500 stores, manages and stores database image data transmitted from the image capturing unit 400 and transmits the captured image to the user's portable terminal 600.

데이터 서버(500)는 영상 촬영부(400)로부터 전송된 영상 데이터 및 사용자의 개인정보를 데이터베이스화하여 저장하고, 사용자가 미리 입력한 전화번호, 이메일 주소, 소셜 네트워크 서비스 계정 등과 같은 개인정보를 이용하여 영상 데이터를 사용자에게 전송한다.The data server 500 stores a database of image data transmitted from the image capturing unit 400 and user's personal information, and uses personal information, such as a phone number, an e-mail address, a social network service account, and the like previously input by the user. Image data to the user.

따라서 사용자는 셀피전용로드를 이동할 때 자가촬영을 진행한 후, 자신이 미리 입력한 전화번호, 이메일 주소, 소셜 네트워크 서비스 계정으로 촬영된 영상을 수신 받을 수 있다.Therefore, when the user moves the self-dedicated load, the user may perform self-shooting and receive a video photographed by a phone number, an e-mail address, and a social network service account input in advance.

도 2는 본 발명의 일 실시예에 따른 자가촬영사진지원 카메라 시스템(1)의 구성도이다.2 is a block diagram of a self-photographing picture support camera system 1 according to an embodiment of the present invention.

본 실시예에 따른 자가촬영사진지원 카메라 시스템(1)은 제안하고자 하는 기술적인 사상을 명확하게 설명하기 위한 간략한 구성만을 포함하고 있다.The self-photographing photographic camera system 1 according to the present embodiment includes only a brief configuration for clearly explaining the technical idea to be proposed.

도 2를 참조하면, 자가촬영사진지원 카메라 시스템(1)은 AR 스티커(100), 복수의 센싱부(200), 사용자 위치 검출부(300), 영상 촬영부(400), 데이터 서버(500) 및 휴대용 단말기(600)를 포함하여 구성된다.Referring to FIG. 2, the self-photographing photo support camera system 1 includes an AR sticker 100, a plurality of sensing units 200, a user position detector 300, an image capturing unit 400, a data server 500, and the like. It is configured to include a portable terminal 600.

상기와 같이 구성되는 자가촬영사진지원 카메라 시스템(1)의 세부구성과 주요동작을 살펴보면 다음과 같다.Looking at the detailed configuration and the main operation of the self-photographing picture support camera system 1 configured as described above are as follows.

참고적으로, AR 스티커(100)에는 고유식별번호를 구분하기 위한 QR 코드 또는 마크가 추가적으로 인쇄될 수 있다. 이때, QR 코드 또는 마크에는 특정 적외선 파장을 반사하는 적외선 반사도료가 코팅될 수 있다.For reference, the QR sticker or mark for distinguishing the unique identification number may be additionally printed on the AR sticker 100. At this time, the QR code or the mark may be coated with an infrared reflecting material reflecting a specific infrared wavelength.

복수의 센싱부(200)는 음성인식모듈을 각각 더 포함하여 구성될 수 있는데, 사용자가 AR 스티커(100)를 어느 하나의 센싱부에 태깅하고, 음성인식모듈이 사용자의 촬영시작 음성명령을 인식할 경우, 해당 센싱부는 복수의 영상 촬영부(400)로 촬영시작신호를 전송할 수 있다. 촬영시작신호를 수신한 복수의 영상 촬영부(400) 중 사용자를 촬영할 수 있는 범위에 있는 영상 촬영부(400)는 즉시 사용자를 촬영하거나 소정의 지연시간 이후에 사용자의 영상촬영을 진행한다.The plurality of sensing units 200 may further include a voice recognition module, respectively, wherein the user tags the AR sticker 100 on any one of the sensing units, and the voice recognition module recognizes the user's shooting start voice command. In this case, the sensing unit may transmit a recording start signal to the plurality of image capturing units 400. The image capturing unit 400 within the range of capturing the user among the plurality of image capturing units 400 receiving the photographing start signal may immediately photograph the user or photograph the user after a predetermined delay time.

즉, 사용자 위치 검출부(300)는 복수의 센싱부(200)로부터 AR 스티커(100)의 NFC 통신모듈 및 블루투스 통신모듈과 데이터 신호를 자동 교환한 시간정보와 데이터 신호의 송수신 세기를 제공받아, 사용자의 시간별 이동방향 및 상대적인 위치정보를 실시간으로 파악한다.That is, the user position detector 300 receives the intensity of the transmission and reception of the time information and the data signal which automatically exchanges the data signal with the NFC communication module and the Bluetooth communication module of the AR sticker 100 from the plurality of sensing units 200, To grasp the movement direction and relative position information of each hour in real time.

기본적으로 영상 촬영부(400)는 사용자 위치 검출부(300)로부터 전송된 사용자의 위치정보를 토대로 사용자를 식별한 후 영상을 촬영하도록 동작하나, 영상 촬영부(400)의 사용자 식별기능이 실행될 경우, 영상 촬영부(400)는 촬영된 영상에서 사용자를 객체 인식한 정보를 추가적으로 반영하여 사용자의 위치를 정밀하게 파악할 수 있다.Basically, the image capturing unit 400 operates to capture an image after identifying the user based on the location information of the user transmitted from the user position detecting unit 300, but when the user identification function of the image capturing unit 400 is executed, The image capturing unit 400 may accurately determine the location of the user by additionally reflecting information on object recognition of the user in the captured image.

즉, 사용자 식별기능이 실행될 경우, 영상 촬영부(400)는 AR 스티커(100)에 인쇄된 QR 코드 또는 마크를 영상 인식한 후 고유식별번호를 인식하여 사용자를 식별할 수 있다.That is, when the user identification function is executed, the image capturing unit 400 may identify the user by recognizing the unique identification number after recognizing the image of the QR code or the mark printed on the AR sticker 100.

이때, 영상 촬영부(400)는 적외선 투과파장을 조절하는 분광필터가 장착될 수 있다. 영상 촬영부(400)에 분광필터가 장착됨으로써, 적외선 반사도료가 코팅된 코드 및 마크의 식별이 보다 원활히 진행될 수 있다.In this case, the image capturing unit 400 may be equipped with a spectroscopic filter for adjusting the infrared transmission wavelength. Since the spectroscopic filter is mounted on the image capturing unit 400, identification of codes and marks coated with an infrared reflecting paint may be performed more smoothly.

또한, 영상 촬영부(400)는 AR 스티커(100)의 색상을 식별하여 사용자를 식별할 수 있는 추가 정보로 활용할 수 있다.In addition, the image capturing unit 400 may identify the color of the AR sticker 100 and use it as additional information for identifying a user.

결과적으로 영상 촬영부(400)는 사용자 위치 검출부(300)로부터 전송된 사용자의 위치정보와, AR 스티커(100)에 인쇄된 QR 코드 또는 마크를 영상 인식한 정보와, AR 스티커(100)의 색상정보를 모두 활용하여 사용자의 위치를 좀 더 정확하게 추정한 후 영상촬영을 진행할 수 있다.As a result, the image capturing unit 400 image-recognizes the location information of the user transmitted from the user location detecting unit 300, the QR code or the mark printed on the AR sticker 100, and the color of the AR sticker 100. By taking advantage of all the information, the user's location can be estimated more accurately before the video can be taken.

한편, 영상 촬영부(400)는 타인의 얼굴의 위치를 자동으로 식별한 후 모자이크 마킹 처리하도록 동작하여, 타인의 초상권 침해를 자동으로 방지할 수 있다. 이때, 영상 촬영부(400)는 사용자가 아닌 타인을 촬영영상에서 삭제한 후 배경화면으로 처리할 수 있다. 이때 배경화면은 영상 촬영부(400)가 유사한 위치에서 촬영한 복수의 촬영영상에서 배경화면을 추출하는 방식으로 획득할 수 있을 것이다.Meanwhile, the image capturing unit 400 may automatically identify a position of another person's face and then operate a mosaic marking process to automatically prevent the infringement of a portrait right of another person. In this case, the image capturing unit 400 may delete another person other than the user from the captured image and process the background image. In this case, the background image may be obtained by extracting the background image from the plurality of photographed images captured by the image capturing unit 400 at a similar position.

또한, 영상 촬영부(400)는 사용자의 얼굴이 인식되었을 때 영상촬영을 진행할 수 있다. 사용자가 얼굴이 인식되어는 사진을 요청할 경우, 영상 촬영부(400)가 사용자를 추적하고 있다가 얼굴이 인식되었을 경우에만 촬영을 진행하도록 동작할 수 있다.In addition, the image capturing unit 400 may perform image capturing when the face of the user is recognized. When the user requests a picture for recognizing a face, the image capturing unit 400 may track the user and perform the photography only when the face is recognized.

또한, 영상 촬영부(400)는 사용자 위치 검출부(300)로부터 사용자의 예상 이동속도가 제공될 경우, 이동속도에 대응하여 촬영 감도(ISO)를 조정한다. 즉 사용자의 이동속도가 빠를 것으로 예상되는 경우 미리 촬영 감도(ISO)를 증가시켜 사용자가 빠르게 이동하더라도 선명한 사진촬영이 이루어질 수 있다.In addition, when the expected moving speed of the user is provided from the user position detector 300, the image capturing unit 400 adjusts the shooting sensitivity ISO in response to the moving speed. In other words, if the user's moving speed is expected to be fast, clear picture taking may be achieved even if the user moves quickly by increasing the shooting sensitivity (ISO) in advance.

영상 촬영부(400)는 PTZ 카메라가 사용될 수 있는데, PTZ 카메라는 모터를 이용하여 좌우/상하 회전(PAN), 방향기울기(TILT), 줌(ZOOM) 조정이 가능한 카메라를 통칭한다. 따라서 사용자 위치 검출부(300)의 제어에 의해 PTZ 카메라를 특정 각도 및 방향으로 회전시킬 수 있으므로, 촬영할 수 있는 영역을 조절할 수 있다.The image capturing unit 400 may be a PTZ camera. The PTZ camera generally refers to a camera capable of adjusting left, right, up and down (PAN), tilt, and zoom using a motor. Accordingly, since the PTZ camera can be rotated at a specific angle and direction under the control of the user position detector 300, the area where the image can be taken can be adjusted.

영상 촬영부(400)는 주변 환경에 어울리는 재질 및 형태로 구성하고 폴(Pole), 철탑, 인공나무 폴(Pole)등으로 구성하되 야간 식별을 위한 감성 엘이디(LED)를 장착하고 야간 자가 촬영이 가능하도록 보조 투광등을 설치하되, 서치헤드라이트를 셀피전용로드로 비추어 영상 획득을 용이하게 한다.The image capturing unit 400 is composed of materials and shapes suitable for the surrounding environment, and is composed of poles, steel towers, artificial trees, poles, etc., but is equipped with an emotional LED (LED) for night identification and night self-shooting. Auxiliary floodlights should be installed to make it possible, but the search headlights will be illuminated with a dedicated rod for easy image acquisition.

영상 촬영부(400)는 기본적으로 메가픽셀급 이상의 해상도를 지닌 카메라를 선정하고 근,중,원거리 형태로 나누어 구분하고, 카메라는 IP네트워크 카메라 또는 DSLR 디지털 카메라(줌 렌즈 장착형)를 사용하며, 사진취득 방법을 여러장의 사진을 거리별로 자동 촬영하는 줌 렌즈 구동 방법과 전체배경이 나오는 고해상도의 한 장의 사진을 취득하여 촬영된 사진을 자동으로 화면 비중을 늘려서 여러 거리별 사진이 나올 수 있게 하는 방법으로 나누어 운영한다.The image capturing unit 400 basically selects a camera having a resolution of mega pixel or more and divides it into near, middle, and long forms. The camera uses an IP network camera or a DSLR digital camera (zoom lens mounted type). The acquisition method is a zoom lens driving method to automatically take a plurality of pictures by distance, and a method of acquiring a single high resolution picture showing the entire background and automatically increasing the weight of the taken picture so that the pictures can be displayed at different distances. Operate separately.

또한 영상 촬영부(400)는 외곽지 촬영보조물 설치가 매우 어려운 지형(산악지형, 호수 등)에서는 자가 전원 공급이 가능한 재생에너지(태양열)를 이용하고 통신방법은 무선 메쉬 네트워크 방식을 이용한다.In addition, the image capturing unit 400 uses renewable energy (solar heat) that can be self-powered in terrain (mountainous terrain, lake, etc.) where it is very difficult to install the photographic assistant in the outskirts, and the communication method uses a wireless mesh network method.

즉, 복수의 영상 촬영부(400)가 구비될 경우, 각 영상 촬영부가 데이터를 서로 무선 중계함으로써, 사용자 위치 검출부(300), 데이터 서버(500)와의 데이터 교환 한계거리를 연장할 수 있을 것이다. 이때, 복수의 센싱부(200)도 각 센싱부가 데이터를 서로 무선 중계하여 사용자 위치 검출부(300)로 데이터를 전송함으로써 데이터 교환 한계거리를 연장할 수 있을 것이다.That is, when a plurality of image capturing units 400 are provided, each image capturing unit may wirelessly relay data to each other, thereby extending the data exchange limit distance between the user position detecting unit 300 and the data server 500. In this case, the plurality of sensing units 200 may extend the data exchange limit distance by transmitting the data to the user location detector 300 by wirelessly relaying the data with each sensing unit.

참고적으로, 영상 촬영부(400)에는 90도 각도 차이로 마이크가 배치되어 총 4개의 마이크가 각 방향에서의 소리를 수집할 수 있도록 구성될 수 있다. 이때 4개의 마이크 사이에는 격벽이 설치되어 소리의 진원지를 파악하는데 보조적인 도움을 줄 수 있다. 마이크는 지향성 마이크가 이용되는 것이 바람직하다. 이와 같이 지향성 마이크가 구비될 경우, 영상 촬영부(400)는 사용자의 음성을 감지하여 이동방향을 미리 감지할 수 있다. For reference, the microphone may be disposed at an angle of 90 degrees in the image capturing unit 400 so that a total of four microphones may collect sound in each direction. At this time, a partition is installed between the four microphones, which can help to identify the source of the sound. The microphone is preferably a directional microphone. As such, when the directional microphone is provided, the image capturing unit 400 may detect the user's voice to detect the moving direction in advance.

영상 촬영부(400)는 사용자가 셀피전용로드를 할 때 발생하는 소리를 감지하고, 그 이동하는 과정을 자동으로 촬영할 수 있다.The image capturing unit 400 may detect a sound generated when the user loads the selfie dedicated, and may automatically photograph the moving process.

이때, 영상 촬영부(400)는 미리 설정된 음성을 감지하여 영상을 촬영할 수 있다. 예를 들면 사용자가"5초 후 촬영"이라고 말할 경우, 영상 촬영부(400)는 사용자의 음성방향을 추적하여 촬영방향을 결정하며, "5초 후 촬영"이라는 음성을 인지한 후 음성을 인지한 시점으로부터 5초 이후에 영상촬영을 진행할 수 있다. In this case, the image capturing unit 400 may capture an image by detecting a preset voice. For example, if the user says "shooting after 5 seconds", the image capturing unit 400 determines the shooting direction by tracking the user's voice direction, and recognizes the voice after recognizing the voice of "shooting after 5 seconds". The image can be taken 5 seconds after the point in time.

또한, 영상 촬영부(400)는 "5초 동안 동영상촬영", "5초 후 1초 간격으로 5번 정지영상촬영"의 음성명령을 인지한 후, 그 음성명령에 따라 영상촬영을 진행할 수 있다. In addition, the image capturing unit 400 may recognize a voice command of "movie recording for 5 seconds", "5 still image shooting at 1 second interval after 5 seconds", and proceed with image recording according to the voice command. .

이때, "5초 동안 동영상촬영", "5초 후 1초 간격으로 5번 정지영상촬영" 등의 음성명령은 복수의 센싱부(200)를 통해 인지되어 영상 촬영부(400)로 전달되고, 영상 촬영부(400)는 음성의 방향만을 추적하도록 구성될 수도 있을 것이다.At this time, a voice command such as "shooting a video for 5 seconds", "5 still images taken every 1 second after 5 seconds" is recognized through a plurality of sensing unit 200 and transmitted to the image capturing unit 400, The image capturing unit 400 may be configured to track only the direction of the voice.

이때, 음성 주파수 패턴을 구분하여 사용자를 식별할 수 있도록, 사용자가 미리 자신의 목소리를 등록하고, 그 등록된 음성 주파수 패턴의 특징을 통해 사용자를 식별할 수 있도록 구성될 수도 있을 것이다.In this case, in order to identify the user by classifying the voice frequency pattern, the user may be configured to register his / her voice in advance and identify the user through the characteristics of the registered voice frequency pattern.

한편, 데이터 서버(500)는 사용자의 요청에 의해 테마별, 장소별로 사용자의 영상에 증강현실영상을 합성하여 사용자의 휴대용 단말기(600)로 제공할 수 있다.Meanwhile, the data server 500 may synthesize the augmented reality image to the user's image for each theme and place by the user's request and provide it to the user's portable terminal 600.

예를 들면 관광지의 테마 환경에 맞게 전통복장, 동물 등이 증강현실영상으로 추가되어 합성될 수 있다.For example, traditional clothes, animals, etc. may be added to the augmented reality image and synthesized according to the theme environment of the tourist destination.

또한, 사용자 위치 검출부(300)는 사용자의 위치정보를 토대로 셀피전용로드를 모두 방문했는지를 판단하고, 모두 방문했을 경우 미리 설정된 외부 증강현실 게임서버 또는 데이터 서버(500)로 사용자의 정보를 전송하여,In addition, the user location detector 300 determines whether all the dedicated loads of the cell are visited based on the location information of the user, and when all the visits are transmitted, the user's information is transmitted to a preset external augmented reality game server or data server 500. ,

해당 사용자가 증강현실 게임서버에 접속하여 게임을 진행할 경우, 증강현실 게임서버는 셀피전용로드 주변에 증강현실 게임 아이템을 배치하도록 연동 동작할 수 있다.When the user accesses the augmented reality game server and proceeds with the game, the augmented reality game server may operate in conjunction to place the augmented reality game items around the selfie-only load.

이때, 데이터 서버(500)는 사용자의 촬영영상을 분석하여, 셀피전용로드의 각 지점 방문시간과, 사용자의 동선을 파악한 후, 해당 정보를 증강현실 게임서버에 전송한다. 증강현실 게임서버는 데이터 서버(500)로부터 전송된 사용자의 동선 정보 등을 토대로 증강현실 게임 아이템의 배치위치를 결정한다.At this time, the data server 500 analyzes the captured image of the user, grasps the visit time of each point of the selfie-only load and the user's moving line, and transmits the corresponding information to the augmented reality game server. The augmented reality game server determines an arrangement position of the augmented reality game item based on the user's copper wire information transmitted from the data server 500.

도 3은 본 발명의 다른 실시예에 따른 자가촬영사진지원 카메라 시스템(2)의 구성도이다.3 is a block diagram of a self-photographing picture support camera system 2 according to another embodiment of the present invention.

본 실시예에 따른 자가촬영사진지원 카메라 시스템(2)은 제안하고자 하는 기술적인 사상을 명확하게 설명하기 위한 간략한 구성만을 포함하고 있다.The self-photographing photographic camera system 2 according to the present embodiment includes only a brief configuration for clearly describing the technical idea to be proposed.

도 3을 참조하면, 본 발명의 다른 실시예에 따른 자가촬영사진지원 카메라 시스템(2)은 AR 스티커(100), 복수의 센싱부(200), 사용자 위치 검출부(300), 영상 촬영부(400), 데이터 서버(500) 및 휴대용 단말기(600)를 포함하여 구성된다.Referring to FIG. 3, the self-photographing photographic camera system 2 according to another exemplary embodiment of the present invention may include an AR sticker 100, a plurality of sensing units 200, a user position detector 300, and an image capturing unit 400. ), A data server 500 and a portable terminal 600.

상기와 같이 구성되는 자가촬영사진지원 카메라 시스템(2)의 세부구성과 주요동작을 살펴보면 다음과 같다.Looking at the detailed configuration and the main operation of the self-photographing picture support camera system 2 configured as described above are as follows.

제2 실시예에 따른 자가촬영사진지원 카메라 시스템(2)은 기본적으로 제1 실시예의 자가촬영사진지원 카메라 시스템(1)의 구성을 포함하며 동일한 기술적 구성 및 동작을 모두 포함하여 구성된다.The self-photographing photographic support camera system 2 according to the second embodiment basically includes the configuration of the self-photographing photographic support camera system 1 of the first embodiment and includes all the same technical configurations and operations.

AR 스티커(100)의 블루투스 통신모듈은 각각의 센싱부(200)와의 시간별 데이터 송수신 세기를 저장하고 있으며, 가장 마지막 센싱부를 통과할 때, 저장된 시간별 데이터 송수신 세기를 마지막 센싱부를 이용하여 사용자 위치 검출부(300)로 전송할 수 있다.The Bluetooth communication module of the AR sticker 100 stores the data transmission / reception strength with each sensing unit 200, and when passing through the last sensing unit, the user location detection unit uses the stored time-based data transmission / reception strength using the last sensing unit ( 300).

한편, AR 스티커(100)는 사용자의 휴대용 단말기(600)와 블루투스 통신으로 상호 간에 페어링 될 수 있다. Meanwhile, the AR sticker 100 may be paired with each other by Bluetooth communication with the portable terminal 600 of the user.

즉, AR 스티커(100)는 휴대용 단말기(600)와 페어링 될 때 사용자 위치 검출부(300)에 접속할 수 있는 고유 네트워크 주소를 휴대용 단말기(600)로 전송하고,That is, the AR sticker 100 transmits to the portable terminal 600 a unique network address that can be connected to the user location detector 300 when paired with the portable terminal 600.

휴대용 단말기(600)는 수신된 고유 네트워크 주소를 이용하여 사용자 위치 검출부(300)에 접속한 후 휴대용 단말기(600)에서 파악된 위성위치정보, 즉 절대적인 위치정보를 사용자 위치 검출부(300)에 주기적으로 전송할 수 있다.The portable terminal 600 accesses the user location detector 300 using the received unique network address, and then periodically transmits satellite location information, that is, absolute location information, detected by the portable terminal 600 to the user location detector 300. Can transmit

또한, 휴대용 단말기(600)를 소유한 사용자는 프라이버시 모드를 실행하여 절대적인 위치정보 및 상대적인 위치정보가 저장되는 것을 제한시킬 수 있는 권한을 가질 수 있다. In addition, the user who owns the portable terminal 600 may have a right to limit the storage of absolute location information and relative location information by executing a privacy mode.

프라이버시 모드가 실행되면 휴대용 단말기(600)는 위성위치정보(절대위치정보)의 송신을 소정의 시간동안 중단하며, 페어링된 AR 스티커(100)의 블루투스 통신모듈의 동작을 소정의 시간동안 비활성화 시킨다.When the privacy mode is executed, the portable terminal 600 stops transmitting satellite position information (absolute position information) for a predetermined time and deactivates the operation of the Bluetooth communication module of the paired AR sticker 100 for a predetermined time.

사용자가 위치정보 저장을 중단시킬 경우, 5분 내지 10분 사이의 시간동안에만 위치정보 저장이 제한되며, 5분 내지 10분 이후에는 자동으로 위치정보 저장이 활성화된다. 또한, 위치정보 저장의 중단 기능은 1시간 내에 단 한번만 선택할 수 있도록 구성된다.When the user stops storing the location information, the location information storage is restricted only for a time between 5 minutes and 10 minutes, and the location information storage is automatically activated after 5 minutes to 10 minutes. In addition, the stop function of the location information storage is configured to be selected only once within an hour.

또한, 위치정보 저장이 제한된 시간 동안의 이동 경로는, 제한 기능이 시작되는 시점과 종료되는 시점을 고려하여 추정되는 이동 경로가 표시되며, 제한 기능이 사용되었는지 여부는 표시되지 않는다. 결과적으로 휴대용 단말기(600)를 소유한 사용자는 이동경로에 대한 프라이버시를 보장 받을 수 있다. 또한 프라이버시 모드가 실행될 경우 영상 촬영부(400)는 해당 사용자에 대한 영상촬영을 중지한다.In addition, the movement path for the time limit for storing the location information is displayed in consideration of the start time and the end time of the limit function, and it is not displayed whether or not the limit function is used. As a result, the user who owns the portable terminal 600 may be guaranteed privacy for the movement route. In addition, when the privacy mode is executed, the image capturing unit 400 stops capturing the image of the corresponding user.

사용자 위치 검출부(300)는 복수의 센싱부(200)로부터 AR 스티커(100)의 NFC 통신모듈 및 블루투스 통신모듈과 데이터 신호를 자동 교환한 시간정보와 데이터 신호의 송수신 세기를 제공받아 이를 토대로 사용자의 위치를 실시간으로 파악한다. The user location detection unit 300 receives time information and data transmission / reception strengths of data signals automatically exchanged with the NFC communication module and the Bluetooth communication module of the AR sticker 100 from the plurality of sensing units 200 and based on the received information. Know your location in real time.

즉, 사용자 위치 검출부(300)는 복수의 센싱부(200)로부터 AR 스티커(100)의 NFC 통신모듈 및 블루투스 통신모듈과 데이터 신호를 자동 교환한 시간정보와 데이터 신호의 송수신 세기를 제공받아, 사용자의 시간별 이동방향 및 상대적인 위치정보를 실시간으로 파악한다.That is, the user location detector 300 receives the strength of the transmission and reception of the time information and the data signal automatically exchanged data signals with the NFC communication module and Bluetooth communication module of the AR sticker 100 from the plurality of sensing units 200, To grasp the movement direction and relative location information of each hour in real time.

예를 들면, 사용자가 제1 센싱부(210)를 태깅하고 이동하여 제2 센싱부(220)를 다시 태깅했을 경우, 센싱부의 NFC 모듈에 태깅한 시간과 센싱부의 위치가 정확하게 파악될 수 있으므로, AR 스티커(100)를 소지한 사용자가 제1 센싱부(210) 주변에 있는지 또는 제2 센싱부(220) 주변에 있는지를 파악할 수 있다. For example, when a user tags and moves the first sensing unit 210 to retag the second sensing unit 220, the time tagged with the NFC module of the sensing unit and the position of the sensing unit may be accurately determined. It is possible to determine whether the user carrying the AR sticker 100 is around the first sensing unit 210 or around the second sensing unit 220.

이때, AR 스티커(100)를 소지한 사용자가 제1 센싱부(210)와 제2 센싱부(220) 사이를 이동할 경우, 블루투스 통신모듈과의 데이터 송수신 세기를 통해 상대적인 위치를 간접적으로 파악할 수 있다. 즉, 제1 센싱부(210)와의 거리가 점점 멀어질수록 데이터 송수신 세기가 점점 약해지고 제2 센싱부(220)와의 거리가 점점 가까워질수록 데이터 송수신 세기가 점점 강해지므로 이를 토대로 사용자의 상대적인 위치를 파악할 수 있다.In this case, when the user carrying the AR sticker 100 moves between the first sensing unit 210 and the second sensing unit 220, the relative position may be indirectly determined through the data transmission / reception strength with the Bluetooth communication module. . That is, as the distance from the first sensing unit 210 becomes farther away, the strength of data transmission and reception becomes weaker, and as the distance from the second sensing unit 220 becomes closer, the strength of data transmission and reception becomes stronger. I can figure it out.

따라서 NFC 통신모듈 및 블루투스 통신모듈의 데이터 교환 시간정보 및 데이터 송수신 세기를 모두 고려할 경우, 사용자 위치 검출부(300)는 사용자의 현재위치를 좀 더 정확하게 추정할 수 있다. 이때, 사용자 위치 검출부(300)는 데이터 교환 시간정보 및 데이터 송수신 세기를 고려하여 사용자의 예상 이동속도까지 추정한 후, 사용자의 예상 이동속도를 반영하여 사용자의 현재위치를 좀 더 정확하게 추정할 수도 있을 것이다.Therefore, when considering both the data exchange time information and data transmission / reception strength of the NFC communication module and the Bluetooth communication module, the user location detector 300 may estimate the current location of the user more accurately. In this case, the user location detector 300 may estimate the user's estimated moving speed in consideration of the data exchange time information and the data transmission / reception strength, and may estimate the current position of the user more accurately by reflecting the estimated moving speed of the user. will be.

참고적으로, 상술한 사용자 위치 검출부(300)는 복수의 센싱부(200)로부터 AR 스티커(100)의 NFC 통신모듈 및 블루투스 통신모듈과 데이터 신호를 자동 교환한 시간정보와 데이터 신호의 송수신 세기를 제공받아 이를 토대로 사용자의 위치를 실시간으로 파악하는데,For reference, the user position detection unit 300 may transmit and receive the strength of time information and data signals which automatically exchange data signals with the NFC communication module and the Bluetooth communication module of the AR sticker 100 from the plurality of sensing units 200. Is used to determine your location in real time.

이때, AR 스티커(100)의 블루투스 통신모듈이 각각의 센싱부(200)와의 시간별 데이터 송수신 세기를 저장하고 있으며, 가장 마지막 센싱부를 통과할 때, 저장된 시간별 데이터 송수신 세기를 마지막 센싱부를 이용하여 사용자 위치 검출부(300)로 전송할 수 있다.At this time, the Bluetooth communication module of the AR sticker 100 stores the data transmission and reception intensity with each sensing unit 200, and when passing through the last sensing unit, the user's location using the last time the data transmission and reception strength stored by the last sensing unit It may transmit to the detector 300.

따라서 사용자 위치 검출부(300)는 복수의 센싱부(200)에서 전송된 정보와, AR 스티커(100)에 저장되어 한꺼번에 전송된 정보를 상호 비교한 후 위치정보를 파악할 수 있다. 복수의 센싱부(200)에서 전송된 정보와, AR 스티커(100)에서 전송된 정보의 차이가 소정의 범위를 초과할 경우, 그 평균값을 고려하여 위치정보를 파악할 수도 있을 것이다.Accordingly, the user location detector 300 may compare the information transmitted from the plurality of sensing units 200 with the information stored in the AR sticker 100 and transmitted at once, and then determine the location information. If the difference between the information transmitted from the plurality of sensing units 200 and the information transmitted from the AR sticker 100 exceeds a predetermined range, the location information may be determined in consideration of the average value.

한편, 상술한 바와 같이 AR 스티커(100)가 사용자의 휴대용 단말기(600)와 블루투스 통신으로 상호 간에 페어링 될 경우, 휴대용 단말기(600)가 위성위치정보, 즉 절대적인 위치정보를 사용자 위치 검출부(300)에 주기적으로 전송한다.On the other hand, as described above, when the AR sticker 100 is paired with each other via Bluetooth communication with the portable terminal 600 of the user, the portable terminal 600 provides satellite position information, that is, absolute position information, to the user position detector 300. Send periodically to

따라서 사용자 위치 검출부(300)는 사용자가 소지한 휴대용 단말기(600)의 위성위치정보를 추가적으로 이용하여 사용자의 현재위치를 좀 더 정확하게 추정할 수도 있을 것이다. 즉, 사용자 위치 검출부(300)는 절대적인 위치정보와 상대적인 위치정보를 모두 고려하여 사용자의 위치를 파악할 수 있다. Therefore, the user location detector 300 may additionally estimate the current location of the user by additionally using satellite location information of the portable terminal 600 possessed by the user. That is, the user location detector 300 may determine the location of the user in consideration of both absolute location information and relative location information.

기본적으로 영상 촬영부(400)는 사용자 위치 검출부(300)로부터 전송된 사용자의 위치정보를 토대로 사용자를 식별한 후 영상을 촬영하도록 동작하나, 영상 촬영부(400)의 사용자 식별기능이 실행될 경우, 영상 촬영부(400)는 촬영된 영상에서 사용자를 객체인식한 정보를 추가적으로 반영하여 사용자의 위치를 정밀하게 파악할 수 있다.Basically, the image capturing unit 400 operates to capture an image after identifying the user based on the location information of the user transmitted from the user position detecting unit 300, but when the user identification function of the image capturing unit 400 is executed, The image capturing unit 400 may accurately grasp the position of the user by additionally reflecting the object recognition information from the captured image.

참고적으로, 자가촬영사진지원 카메라 시스템(2)은 사용자의 위치를 좀 더 정확하게 파악하는 구성이 추가될 수 있다. 즉, 복수의 센싱부(200)에 와이파이 통신모듈이 각각 추가로 구비되고, 사용자의 휴대용 단말기(600)가 와이파이 핫스팟(WIFI HOTSPOT) 신호를 출력하도록 구성된 경우,For reference, the self-photographing picture support camera system 2 may be added to the configuration to more accurately determine the location of the user. That is, when the plurality of sensing unit 200 is further provided with a Wi-Fi communication module, respectively, and the portable terminal 600 of the user is configured to output a Wi-Fi HOTSPOT signal,

우선, 사용자 위치 검출부(300)는 휴대용 단말기(600)에서 전송된 위성위치정보 및 태깅정보 중 어느 하나를 이용하여 사용자의 절대위치를 파악한다.First, the user location detector 300 detects the absolute location of the user by using any one of the satellite location information and the tagging information transmitted from the portable terminal 600.

다음으로, 복수의 센싱부(200)가 휴대용 단말기(600)에서 출력되는 와이파이 핫스팟(WIFI HOTSPOT) 신호를 참조하여 휴대용 단말기(600)의 위치를 파악한다. Next, the plurality of sensing units 200 determines the location of the portable terminal 600 with reference to the Wi-Fi HOTSPOT signal output from the portable terminal 600.

즉, 복수의 센싱부(200)가 정삼각형 형태로 배열된다고 가정하면, 복수의 센싱부(200)는 와이파이 핫스팟(WIFI HOTSPOT) 신호를 출력하는 휴대용 단말기(600)까지의 거리를 측정함에 있어서, 세 꼭지점의 상대위치를 얻고 휴대용 단말기(600)와의 거리를 파악하여 삼변 측량술(Trilateration)을 적용하여 휴대용 단말기(600) 위치의 상대위치를 파악하고, 상대위치와 위성위치정보(절대위치)를 동시에 고려하여 휴대용 단말기(600) 위치를 최종 파악한다.That is, assuming that the plurality of sensing units 200 are arranged in an equilateral triangle shape, the plurality of sensing units 200 measures the distance to the portable terminal 600 that outputs a WIFI HOTSPOT signal. Obtain the relative position of the vertex and grasp the distance from the portable terminal 600 to apply the trilateration to determine the relative position of the portable terminal 600, considering the relative position and the satellite position information (absolute position) at the same time To finally determine the location of the portable terminal 600.

도 4 및 도 5는 자가촬영사진지원 카메라 시스템(1, 2)에 의해 촬영된 영상의 예시도이다.4 and 5 are exemplary diagrams of images photographed by the self-photographing picture support camera system 1, 2.

우선 도 4를 참조하면, AR 스티커(100)를 소지한 사용자가 셀피전용로드를 이동할 경우, 영상 촬영부(400)는 사용자가 영상촬영을 의식하지 않은 자연스러운 모습을 자동 촬영할 수 있다.First, referring to FIG. 4, when the user carrying the AR sticker 100 moves the selfie-only rod, the image capturing unit 400 may automatically photograph a natural state in which the user is not aware of the image capturing.

다음으로 도 5를 참조하면, 영상 촬영부(400)는 AR 스티커(100)를 소지한 사용자의 얼굴이 객체 인식되었을 때 영상촬영을 진행한다. 이때, 영상 촬영부(400)는 타인의 얼굴의 위치를 자동으로 식별한 후 모자이크 마킹처리 할 수 있다. 이때 타인의 얼굴 방향이 영상 촬영부(400)를 응시하지 않는 경우 타인 얼굴의 모자이크 마킹은 생략될 수 있다.Next, referring to FIG. 5, the image capturing unit 400 performs image capturing when the face of the user holding the AR sticker 100 is recognized. In this case, the image capturing unit 400 may automatically identify the position of another person's face and then perform a mosaic marking process. In this case, when the face direction of the other person does not stare at the image capturing unit 400, the mosaic marking of the other face may be omitted.

도 6 내지 도 9는 사용자의 전체 이동경로를 지리 정보 체계(geographic information system, GIS)로 도식화하여 제공하는 예시도이다.6 to 9 are exemplary diagrams of providing a user's entire movement path by using a geographic information system (GIS).

데이터 서버(500)는 영상 촬영부(400)로부터 전송된 영상 데이터와 사용자의 위치정보를 데이터베이스화하여 저장하고 관리하며 촬영된 영상을 전체 이동경로와 함께 사용자의 휴대용 단말기(600)로 제공한다. The data server 500 stores and manages the image data transmitted from the image capturing unit 400 and the location information of the user as a database, and provides the captured image to the user's portable terminal 600 along with the entire movement path.

또한, 사용자의 휴대용 단말기(600)는 데이터 서버(500)로부터 제공받은 영상 및 이동경로를 표시하는 애플리케이션이 설치된다.In addition, the user's portable terminal 600 is installed with an application for displaying the image and the movement path provided from the data server 500.

도 6 내지 도 9를 참조하면, 자가촬영사진지원 카메라 시스템(1,2)에서 휴대용 단말기(600)의 애플리케이션은 사용자의 전체 이동경로를 지리 정보 체계(geographic information system, GIS)로 도식화하여 제공하고, 홍보용 E-팜플렛 및 E-브루셔 형태로 셀피전용로드의 촬영영상을 표시할 수 있다.6 to 9, the application of the portable terminal 600 in the self-photographing picture support camera system (1, 2) provides a schematic diagram of a user's entire movement path by using a geographic information system (GIS). In the form of promotional E-pamphlet and E-Brusher, it is possible to display the taken image of the selfie-only rod.

또한, 휴대용 단말기(600)의 애플리케이션은 도식화된 지리 정보 체계(geographic information system, GIS), E-팜플렛 및 E-브루셔에서 사용자의 시간대별 촬영정보를 단순 클릭해서 볼 수 있도록 구성되고, 일시에 전체 영상을 테마 음악과 함께 순차적으로 재생시켜 확인할 수 있으며, 전체 영상을 테마 음악과 함께 순차적으로 재생할 때, 과거에 촬영했던 동일장소의 영상까지 데이터 서버로부터 제공받아 표시하도록 구성된다.In addition, the application of the portable terminal 600 is configured to simply view the user's time-based shooting information in a schematic geographic information system (GIS), E-pamphlet and E-Brusher, The entire video can be checked and played back in sequence with the theme music, and when the entire video is played back in sequence with the theme music, it is configured to receive and display images of the same place taken in the past from the data server.

이때 테마 음악은 자동으로 선정될 수 있는데, 애플리케이션은 등록된 사용자의 얼굴을 식별한 후, 식별된 사용자의 감정상태만을 파악하여 그 감정상태에 대응되는 테마 음악을 재생할 수 있다. 예를 들면 슬픈 감정상태의 경우 부드러운 음율의 재즈 또는 클래식 음악을 재생하고, 즐거운 감정상태의 경우 경쾌한 음율의 음악을 자동 재생할 수 있다.At this time, the theme music may be automatically selected. After identifying the face of the registered user, the application may identify only the emotional state of the identified user and play the theme music corresponding to the emotional state. For example, a sad emotional state may play jazz or classical music with a soft tone, and in the case of a pleasant emotional state, a light melody may be automatically played.

이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.As such, those skilled in the art will appreciate that the present invention can be implemented in other specific forms without changing the technical spirit or essential features thereof. Therefore, the above-described embodiments are to be understood as illustrative in all respects and not as restrictive. The scope of the present invention is shown by the following claims rather than the detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalents should be construed as being included in the scope of the present invention. do.

100 : AR 스티커
200 : 복수의 센싱부
300 : 사용자 위치 검출부
400 : 영상 촬영부
500 : 데이터 서버
600 : 휴대용 단말기100: AR sticker
200: a plurality of sensing unit
300: user location detection unit
400: video recording unit
500: data server
600: portable terminal

Claims

delete

Claims [1] A self-photographing photographic camera system for automatically photographing a user walking on a selfie-only rod and providing augmented reality images, comprising: an AR sticker in which a NFC communication module and a Bluetooth communication module are stored, each having a unique identification number; It is disposed every certain period between the start point and the end point of the dedicated cell load, and when the user moves the dedicated cell load with the AR sticker, the data signal is automatically exchanged with the NFC communication module and Bluetooth communication module of the AR sticker. A plurality of sensing units; A user location detection unit receiving time information and strength of data signal transmission and reception of data signals automatically exchanged with the NFC communication module and the Bluetooth communication module of the AR sticker from the plurality of sensing units to determine the location of the user in real time; An image capturing unit for identifying the user based on the position information of the user transmitted from the user position detecting unit and automatically photographing the image of the user at least once in the background of the cell dedicated load; And store and manage image data transmitted from the image capturing unit and location information of the user as a database, and synthesize augmented reality image to the user's image by theme and place by the user's request to the user's portable terminal. Providing a data server;
When the privacy mode is executed, the user's portable terminal is authorized to limit the storage of absolute position information and relative position information for a predetermined time, and is estimated in consideration of the start point and the end point of the privacy mode. Self-portrait photographic camera system, characterized in that the movement path is displayed.

The method of claim 2,
The image capturing unit,
Self-photographing photo support camera system, characterized in that to automatically identify the position of another person's face and then mosaic marking.

The method of claim 2,
The image capturing unit,
Self-photographing photographic camera system characterized in that when the user's face is recognized and proceeds to shoot the image but automatically identify the position of the other person's face after the mosaic marking process.

The method of claim 2,
The user location detector,
Receive the time information and the strength of the transmission and reception of the data signal automatically exchanged the data signal with the NFC communication module and the Bluetooth communication module of the AR sticker from the plurality of sensing unit, to grasp the movement direction and relative position information of the user in real time Self-photographed photo support camera system characterized in that.

The method of claim 2,
In the sensing unit further comprises a voice recognition module, respectively,
When the user tags the AR sticker on any one of the sensing unit, and the voice recognition module recognizes the user's shooting start voice command, the sensing unit transmits a recording start signal to the plurality of image taking unit Self-photographed camera system.