KR20160139582A - Network based monitoring system and network based monitoring camera having event notifying function - Google Patents
Network based monitoring system and network based monitoring camera having event notifying function Download PDFInfo
- Publication number
- KR20160139582A KR20160139582A KR1020150074737A KR20150074737A KR20160139582A KR 20160139582 A KR20160139582 A KR 20160139582A KR 1020150074737 A KR1020150074737 A KR 1020150074737A KR 20150074737 A KR20150074737 A KR 20150074737A KR 20160139582 A KR20160139582 A KR 20160139582A
- Authority
- KR
- South Korea
- Prior art keywords
- event
- network
- sensor
- image information
- signal
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/02—Mechanical actuation
- G08B13/08—Mechanical actuation by opening, e.g. of door, of window, of drawer, of shutter, of curtain, of blind
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19617—Surveillance camera constructional details
- G08B13/19626—Surveillance camera constructional details optical details, e.g. lenses, mirrors or multiple lenses
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/12—Alarms for ensuring the safety of persons responsive to undesired emission of substances, e.g. pollution alarms
- G08B21/14—Toxic gas alarms
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B3/00—Audible signalling systems; Audible personal calling systems
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
- G08B5/22—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
- G08B5/36—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission using visible light sources
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Toxicology (AREA)
- Electromagnetism (AREA)
- Engineering & Computer Science (AREA)
- Environmental & Geological Engineering (AREA)
- Alarm Systems (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
본 발명은 네트워크 기반 감시 시스템에 관한 것으로서, 특히 감시 카메라의 다양한 동작 상태를 분석하고 분석 결과를 바탕으로 사용자에게 통지할 다양한 이벤트를 검출하며 검출된 이벤트를 사용자에게 표시할 수 있는 이벤트 알림 기능이 있는 네트워크 기반 감시 시스템 및 네트워크 기반 감시 카메라에 관한 것이다.The present invention relates to a network-based surveillance system, and more particularly, to a network-based surveillance system in which an event notification function capable of detecting various events to be notified to a user based on various operation states of a surveillance camera, A network-based surveillance system, and a network-based surveillance camera.
전자 공학의 발달에 힘입어 감시 대상의 영상을 촬영하고 촬영한 영상을 네트워크를 통해서 공유하는 네트워크 기반 감시 카메라가 널리 보급된다. 네트워크 기반 감시 카메라는 특정 장소를 감시 또는 관찰하기 위한 것으로서, 사용자는 인터넷을 통해 네트워크 기반 감시 카메라에 접속하여 감시 대상의 모습을 실시간으로 확인할 수 있다 .최근 초고속 통신망과 인터넷 사용 인구의 급격한 증가에 따라 가정 내 전자식 기기나 설비의 제어와 감시에 네트워크 기반 감시 카메라를 이용하려는 움직임이 크게 일고 있으며, 전력선 통신이나 무선 통신 등 각종 유무선 통신 기술이 활발히 보급되면서 네트워크 기반 감시 카메라에 대한 관심과 수요가 증가하고 있다. 특히, 우리나라에서 네트워크 기반 감시 카메라는 이제 생활필수품이 되고 있다. 이제 은행을 비롯해 빌딩사무실, 백화점, 버스 길거리, 아파트의 주차장과 엘리베이터에 이르기까지 생활공간 곳곳에 감시 카메라가 설치되고 있으며 관련 기술이 빠르게 발전하고 있다. 또한 아날로그 감시 시스템을 대체하는 디지털 감시 시스템이 급속히 보급되고 있다. 이러한 디지털 영상 감시 시스템은 기존의 아날로그 감시 시스템에 비해 고화질로 영상을 저장하고 그 저장된 영상의 조회 및 원격 전송 등 여러 면에서 운용상에 편리한 기능을 제공하고 있다.Network-based surveillance cameras that capture images of surveillance objects and share them through networks are widely deployed due to the development of electronics. Network-based surveillance cameras are used to monitor or observe a specific place, and users can access the network-based surveillance camera through the Internet to check the status of the surveillance object in real time. Network-based surveillance cameras have been actively used in the control and monitoring of electronic devices and equipment in the home. As wired / wireless communication technologies such as power line communication and wireless communication have become active, attention and demand for network-based surveillance cameras have increased have. Especially, in Korea, network - based surveillance cameras are now becoming necessities of life. Now surveillance cameras are installed in living spaces ranging from banks to building offices, department stores, bus streets, parking lots of apartments and elevators, and related technologies are rapidly developing. In addition, digital surveillance systems replacing analog surveillance systems are rapidly spreading. These digital video surveillance systems provide images in high quality compared to existing analog surveillance systems and provide convenient functions in various aspects such as retrieving stored images and remote transmission.
이러한 네트워크 기반 감시 카메라에 대한 관심과 수요의 증가에 따라 사용자는 촬영된 영상에 대한 실시간 영상을 제공받고자 하는 욕구가 증가하게 되었다. 네트워크 기반 감시 카메라에서 촬영된 영상은 다수의 사용자들에게 전송되기 위해서는 통신망이 구축되어야 한다. 즉 네트워크 기반 감시 카메라를 사무실 또는 집으로 들어오는 인터넷 라인에 연결하여 무선 신호로 송출하면서, 여러 대의 컴퓨터가 하나의 인터넷 라인을 공유해 동시에 해당 카메라에 접근할 수 있다. 네트워크 기반 감시 카메라에 접근하기 위해서는 다양한 사용자 단말기가 사용될 수 있다. 이처럼 네트워크 기반 감시 카메라를 통해 촬영된 영상은 공유기를 거쳐 일정한 장소에 위치한 서버에 저장되고 사용자는 자신이 필요한 영상이 있을 경우엔 이를 제공 받기 위해 해당 서버로 접속한다. 이와 같이, 네트워크 기반 감시 시스템에서 감시 카메라는 독립된 장치로서 다양한 감시 대상을 촬영하기 위하여 설치되며, 흔히 사용자에게는 네트워크 기반 감시 카메라(closed caption television)의 모습으로 보여진다.As the interest and demand for network based surveillance cameras increase, the users have increasingly desire to receive real time images of the captured images. In order to transmit images captured by network-based surveillance cameras to a large number of users, a communication network must be established. That is, a network-based surveillance camera can be connected to an Internet line coming into the office or home and transmitted as a wireless signal, so that multiple computers can access the same camera simultaneously by sharing one Internet line. Various user terminals can be used to access network-based surveillance cameras. In this way, images captured through the network-based surveillance camera are stored in a server located at a certain place via a router, and the user accesses the corresponding server in order to receive the image if necessary. In this way, in the network-based surveillance system, the surveillance camera is installed as an independent device for shooting various surveillance targets and is often displayed as a closed caption television to the user.
대한민국특허 공개번호 제 10-2011-0023651 호 "태양전지 충전 디지털 와이브로 네트워크 감시카메라 및 백업시스템 개발"에 따르면, 촬영된 영상을 와이브로 네트워크를 통해서 저장하는 백업 시스템이 개시된다. 이러한 선행 기술에 따르면, 방대한 양의 영상 정보를 무선 네트워크를 통해서 효율적으로 전송하고 저장할 수 있다.According to Korean Patent Laid-Open No. 10-2011-0023651, "Development of digital camera network for surveillance of digital WiBro network and backup system ", a backup system for storing photographed images through a WiBro network is disclosed. According to this prior art, a vast amount of image information can be efficiently transmitted and stored via a wireless network.
그런데, 하나의 네트워크 기반 감시 시스템에 다양한 감시 카메라가 설치되기 때문에 여러 감시 카메라의 동작 상태를 일괄적으로 관리하기가 어렵다. 예를 들어, 하나의 감시 대상에 여러 대의 감시 카메라가 설치될 경우, 특정 카메라의 동작에 오류가 발생하거나 특정 카메라의 공급 전원에 문제가 발생할 경우 이를 관리하기가 곤란하다. 특히, 감시 카메라의 보급은 사생활 침해 우려라는 부정적인 측면도 동시에 가지고 있다. 그러므로, 감시 대상에 존재하는 사람들이 자신이 촬영되고 있다는 사실을 최소한 알게 할 필요성이 존재한다.However, since various surveillance cameras are installed in one network-based surveillance system, it is difficult to collectively manage the operation states of various surveillance cameras. For example, when a plurality of surveillance cameras are installed on one surveillance target, it is difficult to manage them when an error occurs in the operation of the specific camera or when a problem occurs in the supply power of a specific camera. In particular, the spread of surveillance cameras has a negative aspect of privacy concerns at the same time. Therefore, there is a need to at least know that people present on the subject are being photographed.
그러나, 종래의 네트워크 기반 감시 시스템에서는 많은 수의 카메라의 동작 상태 나 현재 촬영되는 중인지 여부 등을 사용자에게 효과적으로 알릴 수가 없다.However, in the conventional network-based surveillance system, it is impossible to effectively inform the user of a large number of camera operation states, whether or not the camera is currently being photographed, and the like.
그러므로, 감시 카메라의 동작과 관련되는 다양한 이벤트를 검출하고 검출된 이벤트를 사용자에게 용이하게 통지할 수 있는 이벤트 알림 기능을 가지는 네트워크 기반 감시 시스템 및 네트워크 기반 감시 카메라가 절실히 요구된다.Therefore, a network-based surveillance system and a network-based surveillance camera having an event notification function capable of detecting various events related to the operation of the surveillance camera and easily notifying the detected event to the user are desperately needed.
본 발명의 목적은 감시 카메라의 동작 상태와 관련된 다양한 이벤트를 사용자에게 효과적으로 통지할 수 있는 이벤트 알림 기능을 가지는 네트워크 기반 감시 시스템을 제공하는 것이다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a network-based monitoring system having an event notification function capable of effectively notifying a user of various events related to the operation state of a surveillance camera.
본 발명의 다른 목적은, 다양한 이벤트를 검출하는 것과 함께 이러한 이벤트를 효과적으로 사용자에게 통지할 수 있는 이벤트 알림 기능을 가지는 네트워크 기반 감시 카메라를 제공하는 것이다.It is another object of the present invention to provide a network-based surveillance camera having an event notification function capable of detecting various events and effectively notifying the user of such events.
상기와 같은 목적들을 달성하기 위한 본 발명의 일면은, 이벤트 알림 기능이 있는 네트워크 기반 감시 시스템에 관한 것이다. 이러한 네트워크 기반 감시 시스템은 네트워크에 연결되고, 촬영 설정에 따라 감시 대상으로부터의 영상 정보를 획득하며, 획득된 영상 정보를 로컬 저장소에 저장하거나 네트워크를 통해 전송하는 감시 카메라; 네트워크를 통해 감시 카메라에 연결되어 영상 정보를 수신하고, 수신된 영상 정보를 분석하여 촬영 설정을 결정하며, 수신된 영상 정보를 스토리지 서버 및 사용자 단말기 상에서 동작하는 사용자 애플리케이션 중 적어도 하나로 전송하는 감시 서버; 및 감시 카메라의 동작 환경, 네트워크 상태, 감시 카메라의 동작 상태, 사용자 단말기로부터의 영상 정보의 실시간 요청 여부, 사용자 단말기로부터의 제어 명령의 존부, 사용자 단말기로부터의 음성 대화 요청 여부, 영상 정보의 저장 위치, 영상 정보의 분석 결과 중 적어도 하나에 기반하여 사용자에게 표시할 이벤트를 검출하는 이벤트 처리부를 포함하고, 감시 카메라는 이벤트 처리부로부터의 이벤트 신호에 따라 이벤트의 발생 상태를 표시하는 이벤트 표시부를 포함한다. 특히, 네트워크 기반 감시 시스템은 도어 개방 센서, 연기 검출 센서, 온도 센서, 음향 센서, 및 조도 센서 중 적어도 하나를 포함하는 이벤트 센서로서, 감시 카메라의 감시 대상에 발생하는 이벤트를 검출하기 위한, 이벤트 센서를 더 포함하고, 이벤트 처리부는 이벤트 센서로부터의 센서 신호에 더욱 기반하여 이벤트를 검출하며, 감시 서버는 이벤트 센서로부터의 센서 신호를 참조하여 촬영 설정을 결정한다. 더 나아가, 이벤트 처리부는, 네트워크의 오동작 상태, 감시 카메라의 오동작 상태, 사용자 단말기로부터의 영상 정보의 실시간 요청의 존재, 사용자 단말기로부터의 제어 명령의 존재, 사용자 단말기로부터의 음성 대화 요청의 존재, 감시 대상에서의 이상 상황의 발생 중 적어도 하나를 이벤트로서 검출하여 이벤트 신호를 생성한다. 또한, 감시 서버 및 사용자 단말기는 인터넷 프로토콜에 따라 네트워크를 통해 상호 통신하고, 이벤트 처리부는 PING 신호를 사용하여 네트워크 오동작 상태를 검출한다. 특히, 이벤트 표시부는 이벤트 신호에 따라 점멸하는 LED 및 이벤트를 음향 신호로서 출력하는 스피커 중 적어도 하나를 포함한다.According to an aspect of the present invention, there is provided a network-based monitoring system having an event notification function. The network-based surveillance system is connected to a network, acquires image information from a surveillance target according to a photographing setting, stores the acquired image information in a local repository, or transmits the surveillance camera through a network; A monitoring server connected to a surveillance camera via a network to receive image information, analyze the received image information to determine a photographing setting, and transmit the received image information to at least one of a storage server and a user application operating on a user terminal; Whether or not the video information is requested from the user terminal in real time, whether or not there is a control command from the user terminal, whether or not a voice conversation is requested from the user terminal, a storage location of the video information And an event processing unit for detecting an event to be displayed to the user based on at least one of the analysis results of the image information. The surveillance camera includes an event display unit for displaying the occurrence status of the event according to an event signal from the event processing unit. In particular, the network-based monitoring system includes an event sensor including at least one of a door open sensor, a smoke detection sensor, a temperature sensor, an acoustic sensor, and an illuminance sensor, The event processing unit detects an event further based on the sensor signal from the event sensor, and the monitoring server determines the shooting setting by referring to the sensor signal from the event sensor. Further, the event processing unit may detect a malfunction state of the network, a malfunction state of the surveillance camera, a presence of a real-time request of the video information from the user terminal, a presence of a control command from the user terminal, At least one of occurrence of an abnormal situation in an object is detected as an event and an event signal is generated. Also, the monitoring server and the user terminal communicate with each other through the network according to the Internet protocol, and the event processing unit detects the network malfunctioning state using the PING signal. In particular, the event display unit includes at least one of an LED flashing according to an event signal and a speaker outputting an event as an acoustic signal.
상기와 같은 목적들을 달성하기 위한 본 발명의 다른 면은 이벤트 알림 기능이 있는 네트워크 기반 감시 카메라에 대한 것이다. 네트워크 기반 감시 카메라는 네트워크에 연결되는 인터페이스부; 촬영 설정에 따라 감시 대상을 촬영하는 렌즈부; 감시 대상에 적외선을 조사하는 적외선 광원; 렌즈부로부터 촬영되는 영상을 감지하여 아날로그 신호를 생성하는 이미지 센서부; 이미지 센서부로부터 입력되는 아날로그 신호를 디지털 신호로 변환하는 이미지 처리부; 디지털 신호로 변환된 영상 정보를 저장하기 위한 로컬 저장소; 감시 카메라의 동작 환경, 네트워크 상태, 감시 카메라의 동작 상태, 사용자 단말기로부터의 영상 정보의 실시간 요청 여부, 사용자 단말기로부터의 제어 명령의 존부, 사용자 단말기로부터의 음성 대화 요청 여부, 영상 정보의 저장 위치, 영상 정보의 분석 결과 중 적어도 하나에 기반하여 사용자에게 표시할 이벤트를 검출하는 이벤트 처리부; 및 이벤트 처리부로부터의 이벤트 신호에 따라 이벤트의 발생 상태를 표시하는 표시용 LED를 포함한다. 특히, 네트워크 기반 감시 카메라는 도어 개방 센서, 연기 검출 센서, 온도 센서, 음향 센서, 및 조도 센서 중 적어도 하나를 포함하는 이벤트 센서로서, 감시 카메라의 감시 대상에 발생하는 이벤트를 검출하기 위한, 이벤트 센서를 더 포함하고, 이벤트 처리부는 이벤트 센서로부터의 센서 신호에 더욱 기반하여 이벤트를 검출하며, 감시 서버는 이벤트 센서로부터의 센서 신호를 참조하여 촬영 설정을 결정한다. 또한, 이벤트 처리부는, 네트워크의 오동작 상태, 감시 카메라의 오동작 상태, 사용자 단말기로부터의 영상 정보의 실시간 요청의 존재, 사용자 단말기로부터의 제어 명령의 존재, 사용자 단말기로부터의 음성 대화 요청의 존재, 감시 대상에서의 이상 상황의 발생 중 적어도 하나를 이벤트로서 검출하여 이벤트 신호를 생성한다. 바람직하게는, 감시 서버 및 사용자 단말기는 인터넷 프로토콜에 따라 네트워크를 통해 상호 통신하고, 이벤트 처리부는 PING 신호를 사용하여 네트워크 오동작 상태를 검출한다. 특히, 네트워크 기반 감시 카메라는 이벤트를 음향 신호로서 출력하는 스피커를 더 포함한다.According to another aspect of the present invention, there is provided a network-based surveillance camera having an event notification function. The network-based surveillance camera includes an interface unit connected to a network; A lens unit for photographing an object to be monitored according to a photographing setting; An infrared light source for irradiating the object to be monitored with infrared light; An image sensor unit for sensing an image photographed from the lens unit and generating an analog signal; An image processing unit for converting an analog signal input from the image sensor unit into a digital signal; A local storage for storing image information converted into a digital signal; Whether or not the video information is requested from the user terminal in real time, whether or not there is a control command from the user terminal, whether or not a voice conversation is requested from the user terminal, storage location of the video information, An event processor for detecting an event to be displayed to a user based on at least one of analysis results of the video information; And a display LED for displaying the occurrence status of the event in accordance with an event signal from the event processing unit. In particular, the network-based surveillance camera is an event sensor that includes at least one of a door open sensor, a smoke detection sensor, a temperature sensor, an acoustic sensor, and an illuminance sensor, The event processing unit detects an event further based on the sensor signal from the event sensor, and the monitoring server determines the shooting setting by referring to the sensor signal from the event sensor. In addition, the event processing unit may detect a malfunction state of the network, a malfunction state of the surveillance camera, a presence of a real-time request of the video information from the user terminal, a presence of a control command from the user terminal, As an event, and generates an event signal. Preferably, the monitoring server and the user terminal communicate with each other through a network according to an Internet protocol, and the event processing unit detects a network malfunction state using the PING signal. In particular, the network-based surveillance camera further includes a speaker for outputting an event as an acoustic signal.
본 발명에 의하여, 여러 감시 카메라의 동작 상태와 관련된 다양한 이벤트를 검출하는 것은 물론 검출된 이벤트를 사용자에게 효과적으로 통지할 수 있는 이벤트 알림 기능을 가지는 네트워크 기반 감시 시스템이 제공된다.According to the present invention, there is provided a network-based surveillance system having an event notification function capable of detecting various events related to the operation states of various surveillance cameras and effectively notifying a detected event to a user.
또한, 본 발명에 의하여 다양한 이벤트를 검출하는 것과 함께 이러한 이벤트를 효과적으로 사용자에게 통지할 수 있는 이벤트 알림 기능을 가지는 네트워크 기반 감시 카메라가 제공된다.Also, according to the present invention, a network-based surveillance camera having an event notification function capable of detecting various events and effectively notifying the user of such events is provided.
도 1 은 본 발명의 일면에 따르는 네트워크 기반 감시 시스템을 개략적으로 나타내는 블록도이다.
도 2 는 본 발명의 다른 면에 따르는 네트워크 기반 감시 카메라의 구성을 개략적으로 나타내는 블록도이다.
도 3 은 본 발명에 의한 네트워크 기반 감시 시스템에서 감시 카메라, 감시 서버, 및 이벤트 처리부의 동작 흐름을 예시하는 타이밍도이다.1 is a block diagram schematically illustrating a network-based monitoring system according to an aspect of the present invention.
2 is a block diagram schematically showing the configuration of a network-based surveillance camera according to another aspect of the present invention.
FIG. 3 is a timing chart illustrating an operation flow of a surveillance camera, a surveillance server, and an event processing unit in the network-based surveillance system according to the present invention.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.In order to fully understand the present invention, operational advantages of the present invention, and objects achieved by the practice of the present invention, reference should be made to the accompanying drawings and the accompanying drawings which illustrate preferred embodiments of the present invention.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로서, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.Hereinafter, the present invention will be described in detail with reference to the preferred embodiments of the present invention with reference to the accompanying drawings. However, the present invention can be implemented in various different forms, and is not limited to the embodiments described. In order to clearly describe the present invention, parts that are not related to the description are omitted, and the same reference numerals in the drawings denote the same members.
도 1 은 본 발명의 일면에 따르는 네트워크 기반 감시 시스템을 개략적으로 나타내는 블록도이다.1 is a block diagram schematically illustrating a network-based monitoring system according to an aspect of the present invention.
도 1 에 도시된 네트워크 기반 감시 시스템(100)은 네트워크(190)에 접속되는 감시 카메라(110), 이벤트 센서(120), 이벤트 처리부(130), 감시 서버(150), 이벤트 표시부(160), 스토리지 서버(170), 및 사용자 단말기(180)를 포함한다.The network-based monitoring system 100 shown in FIG. 1 includes a monitoring camera 110, an event sensor 120, an
감시 카메라(110)는 촬영 설정에 따라 감시 대상으로부터의 영상 정보를 획득하는 카메라이다. 감시 카메라(110)는 이미지 센서에 감지된 아날로그 영상 정보를 디지털 영상 정보로 변환하며, 획득된 영상 정보를 로컬 저장소에 저장하거나 네트워크(190)를 통해 스토리지 서버(170)로 전송한다.The surveillance camera 110 is a camera that acquires image information from a monitoring target in accordance with the imaging setting. The surveillance camera 110 converts the analog image information sensed by the image sensor into digital image information and stores the acquired image information in a local storage or transmits the acquired image information to the storage server 170 via the
감시 서버(150)는 네트워크(190)를 통해 감시 카메라(110)로부터 디지털 영상 정보를 수신하고, 수신된 영상 정보를 분석하여 촬영 설정을 결정한다. 결정된 촬영 설정은 도 3 에 예시된 바와 같이 다시 감시 카메라(110)로 전달될 수 있다. 또한, 감시 서버(150)는 감시 카메라(110)로부터 수신된 영상 정보를 스토리지 서버(170)에 저장하거나 사용자 단말기(180) 상에서 동작하는 사용자 애플리케이션으로 전송한다. 감시 서버(150)는 여러 대의 감시 카메라(110)로부터의 영상 정보를 관리하는 역할을 담당하며, 사용자는 다양한 사용자 단말기(180)를 통해 감시 서버(150)에 접속함으로써 영상 정보를 열람할 수 있다.The
이벤트 처리부(130)는 이벤트 센서(120)로부터의 센서 신호에 기초하여 다양한 상황 정보를 결정한다. 본 명세서에서 상황 정보(situation information)란 사용자 단말기(180)를 이용하는 사용자의 신체 상태, 신원 정보, 취미, 취향 등과 같은 개인적인 정적 상황 정보 및 감시 카메라(110)의 과거, 현재, 및 미래의 동작 상태를 모두 포함한다. 즉, 상황 정보는 감시 카메라(110)의 동작 특성에 관련된 정적인 상황 정보(static situation information)와 감시 카메라(110)가 동작하는 동작 상태에 관련된 동적인 상황 정보(dynamic situation information)를 포함한다. 일반적으로, 상황 정보란 유비쿼터스 컴퓨팅과 관련하여 사용자와 다른 사용자, 시스템, 혹은 디바이스의 어플리케이션 간 상호 작용에 영향을 미치는 사람, 장소, 사물, 개체, 시간 등 상황의 특징을 규정하는 정보를 가리킨다. 좀 더 구체적으로는 네트워크 연결 상태, 통신 대역폭, 그리고 프린터ㅇ디스플레이ㅇ워크스테이션과 같은 컴퓨팅 상황(Computing situation), 사용자의 프로파일ㅇ위치ㅇ주변의 사람들을 비롯한 사용자 상황(User situation), 조명ㅇ소음 레벨ㅇ교통 상태ㅇ온도 등 물리적 상황(Physical situation), 시간ㅇ주ㅇ달ㅇ계절 등 시간적 상황(Time situation) 등이 모두 상황 정보에 포함된다. 이러한 상황 정보들은 이벤트 센서(120)에 의해 검출된 센서 신호를 통해 파악되고 다양한 응용 서비스 제공에 이용되거나, 다른 상황 정보와 묶여 제3의 결론을 얻는 추론에 사용되기도 한다.The
본 명세서에서 상황 정보에는 감시 카메라(110)의 동작 환경, 네트워크 상태, 감시 카메라(110)의 동작 상태, 사용자 단말기(180)로부터의 영상 정보의 실시간 요청 여부, 사용자 단말기(180)로부터의 제어 명령의 존부, 사용자 단말기(180)로부터의 음성 대화 요청 여부, 영상 정보의 저장 위치, 영상 정보의 분석 결과들을 포함할 수 있다. 예를 들어, 감시 카메라(110)의 동작 환경이란 감시 카메라(110)의 동작이 주간에 이루어지는지 야간에 이루어지는지를 나타낼 수 있다. 이 경우, 주간 및 야간 여부는 조도 센서인 이벤트 센서(120)를 사용하여 검출될 수 있다. 또한, 네트워크 상태란 네트워크의 속도, 네트워크의 트래픽량, 네트워크의 정상 동작 여부 등을 나타낼 수 있으며, 감시 카메라(110)의 동작 상태에는 감시 카메라(110)에 정상 전원이 공급되고 있는지, 감시 카메라(110)의 로컬 저장소의 잔여 용량이 얼마나 되는지, 감시 카메라(110)와 네트워크(190)와의 접속이 정상적으로 수행되는지 등이 포함될 수 있다.The status information includes status information such as an operation environment of the surveillance camera 110, a network status, an operation status of the surveillance camera 110, a real-time request of video information from the
한편, 감시 카메라(110)에 의하여 촬영되는 영상 정보가 반드시 사용자에게 항상 제공되어야 하는 것은 아니다. 영상 정보는 특정 이벤트가 발생할 경우, 예를 들어 침입자가 감지되는 경우나 화재가 감지되는 경우에만 사용자 단말기(180)로 제공될 수도 있고, 또는 사용자 단말기(180)로부터의 영상 제공 요청이 있는 경우에만 제공될 수 있다. 따라서, 상황 정보에는 사용자 단말기(180)로부터의 영상 정보의 요청이 있는지 여부가 포함될 수 있다.On the other hand, the image information photographed by the surveillance camera 110 is not necessarily provided to the user at all times. The image information may be provided to the
이와 마찬가지로, 상황 정보는 사용자 단말기(180)로부터 감시 카메라(110)에 대한 제어 명령이 수신되는지 여부를 포함할 수도 있다. 최근의 감시 카메라(110)는 고정된 촬영 각도만을 가지는 것이 아니라 사용자가 사용자 단말기(180)를 통해서 팬 및 틸트를 직접 제어하는 경우가 있다. 그러므로 사용자로부터의 제어 명령이 수신되는 경우 이벤트가 발생한 것으로 판단할 수도 있다. 또한, 감시 카메라(110) 중에서는 사용자 단말기(180)를 통한 양방향 음성 대화 기능을 지원하는 경우가 있다. 이러한 기능이 지원되면, 사용자는 단순히 감시 대상을 수동적으로 모니터링하는 것 뿐만 아니라, 필요에 따라 상대방과 직접 음성 대화를 할 수도 있다. 이 경우 상황 정보에는 사용자 단말기(180)로부터의 음성 대화 요청이 있는지 여부가 포함될 수 있다.Likewise, the situation information may include whether or not a control command for the surveillance camera 110 is received from the
더 나아가, 영상 정보의 분석 결과도 상황 정보에 포함될 수 있다. 영상 정보의 분석 결과란 영상 정보로부터 특정 사건의 발생을 검출한 결과를 의미하며, 예를 들어 화재 감지 기능이 있는 감시 카메라(110)의 경우에는 영상 정보로부터 화염이나 매연이 검출되는지 여부, 그리고 동작 감지 기능이 있는 감시 카메라(110)의 경우에는 영상 정보에서 움직임이 검출되는지 여부가 상황 정보로서 포함될 수 있다.Furthermore, the analysis result of the image information can be included in the situation information. For example, in the case of the surveillance camera 110 having a fire detection function, it is determined whether or not a flame or smoke is detected from the image information, In the case of the surveillance camera 110 having the sensing function, whether or not motion is detected in the image information can be included as the context information.
이와 같이, 본 발명에 의한 이벤트 처리부(130)는 다양한 이벤트 센서(120)로부터의 센서 신호를 조합하여 상황 정보를 형성하고, 이러한 상황 정보로부터 특정 이벤트의 발생 여부를 검출한다. 그리고 이벤트가 검출되면 이를 이벤트 표시부(160)를 통해서 사용자에게 알린다.In this manner, the
이벤트 처리부(130)에서 검출하는 이벤트와 이에 따른 동작 시나리오에 대해서는 도 2 를 참조하여 상세히 후술된다.Events to be detected by the
이벤트 표시부(160)는 이벤트 처리부(130)로부터의 이벤트 신호에 따라 이벤트의 발생 상태를 다양한 방식으로 표시한다. 예를 들어, 이벤트 표시부(160)는 감시 카메라(110)의 렌즈 주위에 설치된 LED(미도시)일 수 있다. 이 경우, LED는 개수, 색상, 점멸 여부에 따라 상이한 이벤트를 표시할 수 있다. 또한, 이벤트 표시부(160)는 사용자에게 음향 신호를 출력하는 스피커(미도시)로서 구현될 수도 있다.The event display unit 160 displays the event occurrence state in various ways according to an event signal from the
도 1 에서, 네트워크(190)는 종래 기술에 의한 모든 유무선 통신 기술을 적용하여 구현될 수 있다. 특히, 네트워크가 인터넷 프로토콜에 따라 동작하는 인터넷망인 경우 이벤트 처리부(130)는 PING 신호를 사용하여 네트워크의 동작 상태를 검출할 수 있다.In FIG. 1, the
즉, 이벤트 처리부(130)는 통신선, 통신사에 맞추어 IP 주소로부터 응답되는 PING 신호의 기준값을 바탕으로 , IP 주소로부터 PING 신호의 응답이 없는 경우, 다시 말해 IP 주소로부터 PING 신호에 대한 리턴 신호가 없는 경우 PING 신호를 다시 보내어 재시도하는 횟수에 기초하여 네트워크 상태를 검출할 수 있다. 또한, 이벤트 처리부(130)는 IP 주소로부터 응답되는 PING 신호가 기준값의 범위를 벗어나는지 여부를 바탕으로 네트워크가 정상적으로 동작되고 있는지 여부를 판단할 수도 있다. 이 때 PING 신호의 기준값(속도값) 및 접속 대기시간, 재시도 횟수 등은 통신선, 통신사의 종류에 따라 또는 사용되는 네트워크 프로토콜의 사양에 따라서 상이하게 설정될 수 있음은 물론이다. 만일 PING 신호의 응답이 없는 경우 또는 비정상으로 판단되는 경우, 이벤트 처리부(130)는 PING 신호를 다시 보내어 네트워크의 정상 동작 여부를 재확인한다. 마찬가지로 재시도의 횟수 역시 네트워크 상태에 따라 상이하게 설정될 수 있다.That is, based on the reference value of the PING signal answered from the IP address in accordance with the communication line and the communication company, the
스토리지 서버(170)는 감시 카메라(110)에 의하여 촬영된 영상 정보를 저장하는 데이터베이스를 의미한다. 스토리지 서버(170)는 영상 정보를 단순히 저장하는 것이 아니라 저장된 영상을 관리하고 백업하며, 이벤트와 결합하여 저장된 영상의 해상도를 조절할 수 있다.The storage server 170 refers to a database that stores image information captured by the surveillance camera 110. The storage server 170 can manage the stored image, not only store the image information, but also adjust the resolution of the stored image in combination with the event.
사용자 단말기(180)는 안드로이드 혹은 iOS 기반의 스마트폰 또는 태블릿 PC, 또는 일반 개인용 컴퓨터로서, 감시 카메라(110)에서 촬영되어 스토리지 서버(170)에 저장된 영상 또는 감시 카메라(110)에서 실시간으로 실시간 영상을 요청할 수 있는 단말기를 의미한다.The
도 1 에 도시된 바와 같은 감시 시스템(100)을 사용하면, 감시 카메라(110)의 개수가 늘어나더라도 감시 카메라(110)의 동작 상태 및 네트워크(190)의 상태와 이벤트 센서(120)로부터의 센서 신호에 기초하여 판단된 이벤트를 이벤트 표시부(160)를 통하여 사용자에게 용이하게 전달할 수 있다.Even if the number of surveillance cameras 110 is increased by using the monitoring system 100 as shown in FIG. 1, the operation state of the surveillance camera 110, the state of the
감시 시스템(100)의 구성요소들은 반드시 도시된 바와 같이 개별적인 장치로서 구현되어야 하는 것이 아니며, 하나 이상의 구성 요소들이 상호결합하여 하나의 장치를 형성할 수 있다. 예를 들어, 본 발명의 이벤트 표시부(160)는 반드시 감시 카메라(110)와 별개의 장치로서 구현되어야 하는 것은 아니며 감시 카메라(110)에 부착되어 구비될 수 있다. 또한, 이벤트 센서(120) 역시 감시 카메라(110)에 내장될 수 있음은 물론이다.The components of the surveillance system 100 are not necessarily implemented as separate apparatuses as shown in the drawings, and one or more components may be coupled to each other to form one apparatus. For example, the event display unit 160 of the present invention is not necessarily implemented as a separate device from the surveillance camera 110, but may be attached to the surveillance camera 110. It should be noted that the event sensor 120 may also be embedded in the surveillance camera 110.
또한, 본 발명에 의하여 카메라의 전원 이상 여부, 네트워크 상태, 영상 정보 내의 움직임 감지 상태 등을 LED 색상 별로 표출할 수 있다. 예를 들어, 운용시 별도의 장비(노트북)가 필요 없이 LED의 색상으로 카메라 전원 이상 여부, 네트워크 접속 여부, 및 감지 상태를 확인할 수 있다. 이 경우 움직임이 감지될 경우 LED를 점멸시키거나 스피커를 통해 경고 메시지를 출력함으로써 범죄를 예방할 수 있고 유지 보수 비용을 절감할 수 있다.In addition, according to the present invention, it is possible to display the camera power supply abnormality, the network status, and the motion detection status in the image information by LED color. For example, you do not need a separate device (laptop) to operate, you can check the camera power failure, network connection, and detection status by LED color. In this case, when the motion is detected, it can prevent the crime and reduce the maintenance cost by blinking the LED or outputting the warning message through the speaker.
도 2 는 본 발명의 다른 면에 따르는 네트워크 기반 감시 카메라의 구성을 개략적으로 나타내는 블록도이다.2 is a block diagram schematically showing the configuration of a network-based surveillance camera according to another aspect of the present invention.
도 2 에 도시된 감시 카메라(200)는 네트워크에 연결되는 렌즈부(210), 인터페이스부(220), 이벤트 센서(230), 이미지 처리부(240), 이벤트 처리부(250), 적외선 광원(260), 로컬 저장소(270), 표시 LED(280), 및 스피커(290)를 포함한다.2 includes a lens unit 210 connected to a network, an interface unit 220, an
렌즈부(210)는 촬영 설정에 따라 감시 대상을 촬영한다. 촬영 설정은 촬영 해상도, 프레임 레이트, 화각, 노출값, 셔터값, 휘도 및 조도 등과 관련된다. 촬영 설정은 감시 카메라(200) 자체에서 이벤트 처리부(250)에 의하여 결정할 수도 있고 외부의 감시 서버에 의하여 결정될 수도 있다. 예를 들어, 주간 촬영의 경우 야간 촬영의 경우보다 노출값을 낮추고 휘도를 증가시킬 수 있다. 주간 및 야간의 구별은 이벤트 센서(230)로서의 조도 센서의 센서 신호를 분석하여 수행될 수 있음은 전술된 바와 같다. 촬영 설정을 달리하는 이유는 상이한 동작 환경에 따라 최적의 영상 정보를 얻기 위한 것이다. 특히, 야간 촬영의 경우 적외선 영상을 얻기 위하여 적외선 광원(260)은 감시 대상에 적외선을 조사한다.The lens unit 210 photographs an object to be monitored according to the shooting setting. The shooting setting relates to the shooting resolution, the frame rate, the angle of view, the exposure value, the shutter value, the luminance and the illuminance. The shooting setting may be determined by the
영상 정보가 생성되면, 생성된 영상 정보는 이벤트 처리부(250) 및 인터페이스부(220)로 전달된다. 인터페이스부(220)는 영상 정보를 네트워크를 통해 외부의 장치로 전달하고, 이벤트 처리부(250)는 수신된 영상 정보로부터 이벤트를 검출한다. 외부 장치로 전달된 영상 정보도 역시 외부의 감시 서버에 의하여 이벤트를 검출하는 데에 사용될 수 있다.When the image information is generated, the generated image information is transmitted to the
도 2 에 포함되는 이벤트 센서(230)는 도어 개방 센서, 연기 검출 센서, 온도 센서, 음향 센서, 및 조도 센서와 같은 다양한 센서일 수 있다. 도어 개방 센서는 문틀 및 문에 각각 구비된 단자들의 접촉 여부를 판단하는 접촉 스위치이거나, 양 단자들 사이의 거리를 측정하는 거리 센서일 수 있다. 또는, 문틀 및 문에 각각 설치된 적외선 송신기 및 수신기 사이에서 송수신되는 적외선을 감지하는 감지기일 수 있다. 연기 검출 센서는 대기 성분 중 이산화탄소 농도를 측정하는 센서이거나 렌즈부(210)에 의하여 촬영된 영상 정보에서 화염 또는 매연 영상을 검출하는 영상 처리 장치일 수도 있다. 온도 센서는 감시 카메라(200) 주위의 온도를 감지하며, 특히 온도가 비정상적으로 상승할 경우를 화재 상태로서 감지할 수 있다. 음향 센서는 감지 대상에서 발생하는 음향을 녹음하며, 녹음된 음향으로부터 유의미한 이벤트를 검출할 수 있다. 예를 들어, 화재 경보기가 울리면 화재가 발생한 것으로 판단할 수 있다.The
이미지 처리부(240)는 렌즈부로부터 촬영되는 영상을 감지하여 아날로그 신호를 생성하는 이미지 센서를 포함할 수 있고, 이미지 센서부로부터 입력되는 아날로그 신호를 디지털 신호로 변환한다. 변환된 정보는 로컬 저장소(270)에 저장될 수 있다.The image processing unit 240 may include an image sensor that senses an image photographed from the lens unit and generates an analog signal, and converts an analog signal input from the image sensor unit into a digital signal. The transformed information may be stored in the local repository 270.
이벤트 처리부(250)는 도 1 에 도시된 이벤트 처리부(130)와 유사한 구성을 가지고 유사한 동작을 수행한다. 즉, 이벤트 처리부(250)는 감시 카메라의 동작 환경, 네트워크 상태, 감시 카메라의 동작 상태, 사용자 단말기로부터의 영상 정보의 실시간 요청 여부, 사용자 단말기로부터의 제어 명령의 존부, 사용자 단말기로부터의 음성 대화 요청 여부, 영상 정보의 저장 위치, 영상 정보의 분석 결과들에 기초하여 사용자에게 표시할 이벤트를 검출한다.The
이벤트 처리부(250)에 의하여 이벤트가 검출되면 표시 LED(280) 또는 스피커(290)를 통해서 이벤트가 발생하였음을 알릴 수 있다.When an event is detected by the
이벤트 처리부(250)의 판단에 따라 이벤트가 발생한 것으로 판단될 경우의 동작 시나리오는 다음과 같다.The operation scenario in the case where it is determined that the event has occurred according to the determination of the
- 네트워크의 오동작 상태- Network malfunction status
네트워크가 정상적으로 동작하는 것으로 판단되면 표시 LED(280)는 파란 색을 상시 점등시킬 수 있다. 반면에, 네트워크가 오동작할 경우에는 스피커(290)가 이러한 사실을 음향 정보로서 추출할 수 있다.If it is determined that the network is operating normally, the display LED 280 may turn on the blue color at all times. On the other hand, when the network malfunctions, the speaker 290 can extract this fact as acoustic information.
- 감시 카메라의 동작 상태- Operation status of surveillance camera
감시 카메라(200)가 정상적으로 동작하는 것으로 판단되면 표시 LED(280)는 녹색을 상시 점등시킬 수 있다. 반면에, 감시 카메라(200)가 오동작할 경우에는 스피커(290)가 이러한 사실을 음향 정보로서 추출할 수 있다.If it is determined that the
- 사용자 단말기로부터의 영상 정보의 실시간 요청- Real-time request of video information from user terminal
영상 정보가 사용자 단말기로 제공되는지 여부는 사용자가 감시 서버에 접속한 상태인지 여부로 판단될 수 있다. 즉, 인터넷 기반 감시 카메라는 영상 정보를 사용자 단말기로 제공하는 감시 서버를 통해 영상 정보를 전달한다. 따라서, 사용자가 해당 감시 서버에 접속하면 영상 정보가 사용자 단말기로 전송된다고 판단하여 적색 LED를 상시 점등시킬 수 있다.Whether or not the video information is provided to the user terminal can be determined by whether or not the user is connected to the monitoring server. That is, an Internet-based surveillance camera transmits image information through a surveillance server that provides image information to a user terminal. Accordingly, when the user accesses the monitoring server, it is determined that the image information is transmitted to the user terminal, so that the red LED can be constantly turned on.
- 사용자 단말기로부터의 제어 명령- control command from the user terminal
카메라의 틸트 및 팬의 조절 명령이 수신되면 적색 LED를 점멸시킬 수 있다. 또는 스피커(290)를 통해서 제어 명령이 수신되고 있음을 음향 신호로 출력하는 것도 가능하다.When the tilt of the camera and the control command of the fan are received, the red LED can be blinked. Alternatively, it is also possible to output as a sound signal that the control command is being received through the speaker 290.
- 음성 대화 요청- Voice chat request
사용자가 영상 정보에 포함된 사용자와 직접 음성 대화를 하고자 한다면 음성 대화 요청 신호가 감시 서버를 통하여 인터페이스부(220)에 수신된다. 그러면, 녹색 LED를 상시 점등시킴으로써 음성 대화가 시작된다는 것을 사용자에게 알릴 수 있다.If the user wishes to directly conduct a voice conversation with a user included in the image information, a voice conversation request signal is received at the interface unit 220 through the monitoring server. Then, the user can be notified that the voice conversation is started by constantly turning on the green LED.
- 이상 상황의 발생- occurrence of abnormal situation
화재의 발생, 외부 침입의 발생 등 이상 상태가 발생하면 적색 LED를 점멸시키는 것과 동시에 경고 메시지를 출력할 수 있다.If an abnormal condition occurs such as a fire or an external intrusion, a red LED flashes and a warning message can be output.
이와 같이, 다양한 동작 시나리오에 따라서 다양한 방식으로 사용자에게 이벤트를 표시할 수 있다.Thus, events can be displayed to the user in various ways according to various operational scenarios.
도 3 은 본 발명에 의한 네트워크 기반 감시 시스템에서 감시 카메라, 감시 서버, 및 이벤트 처리부의 동작 흐름을 예시하는 타이밍도이다.FIG. 3 is a timing chart illustrating an operation flow of a surveillance camera, a surveillance server, and an event processing unit in the network-based surveillance system according to the present invention.
우선, 감시 카메라(310)가 영상 정보를 획득한다. 그러면, 획득된 영상 정보는 감시 서버(350)로 전송된다. 그러면, 중앙 제어부(350)는 수신된 영상 정보를 분석하여 촬영 설정을 결정한다. 예를 들어, 촬영 영상에 움직임이 검출되는 등 이벤트가 검출될 경우 촬영 해상도를 높이도록 촬영 설정을 변경할 수 있다.First, the
또한, 이벤트 처리부(330)는 다양한 센서들로부터의 센서 신호를 획득한다. 센서 신호는 연기 검출 센서, 온도 센서, 도어 개방 센서, 음향 센서, 및 조도 센서와 같은 다양한 센서일 수 있음은 전술된 바와 같다. 센서 신호가 획득되면 이벤트 처리부(330)는 센서 신호를 분석하여 이벤트를 검출한다. 전술된 바와 같이, 이벤트란 화재 발생, 네트워크 오동작 상태, 감시 카메라로의 전원 공급 실패 등을 포함할 수 있다. 또한, 이벤트 처리부(330)는 센서 신호를 감시 서버(350)로 전송한다. 그러면, 감시 서버(350)는 이러한 센서 신호에 기초해서 촬영 설정을 변경하여 감시 카메라(310)로 제공한다. 즉, 촬영 설정은 감시 카메라(310)로부터 수신된 영상 정보를 분석하거나 이벤트 처리부(330)로부터 수신된 센서 신호를 분석하여 결정될 수 있다.In addition, the
이벤트가 발생된 것으로 판단될 경우, 이벤트 처리부(330)는 검출된 이벤트를 감시 카메라(310)로 전송한다. 그러면, 감시 카메라(310)는 해당 이벤트를 LED 또는 스피커를 통해서 사용자에게 표시할 수 있다.If it is determined that an event has occurred, the
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is evident that many alternatives, modifications and variations will be apparent to those skilled in the art.
또한, 본 발명에 따르는 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함할 수 있다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 분산 컴퓨터 시스템에 의하여 분산 방식으로 실행될 수 있는 컴퓨터가 읽을 수 있는 코드를 저장할 수 있다.In addition, the method according to the present invention can be embodied as computer-readable code on a computer-readable recording medium. A computer-readable recording medium may include any type of recording device that stores data that can be read by a computer system. Examples of the computer-readable recording medium include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like, and may be implemented in the form of a carrier wave (for example, transmission via the Internet) . The computer readable recording medium may also store computer readable code that may be executed in a distributed manner by a distributed computer system connected to the network.
본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설시된 특징, 수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다. 그리고, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.As used herein, the singular " include " should be understood to include a plurality of representations unless the context clearly dictates otherwise, and the terms "comprises & , Parts or combinations thereof, and does not preclude the presence or addition of one or more other features, integers, steps, components, components, or combinations thereof. The terms "part", "unit", "module", "block", and the like described in the specification mean units for processing at least one function or operation, And a combination of software.
도면에서 동작들이 특정한 순서로 설명되었으나, 그러한 동작들이 도시된 바와 같은 특정한 순서로 수행되는 것으로 또는 일련의 연속된 순서, 또는 원하는 결과를 얻기 위해 모든 설명된 동작이 수행되는 것으로 이해되어서는 안 된다. 특정 환경에서 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 아울러, 상술한 실시예에서 다양한 시스템 구성요소의 구분은 모든 실시예에서 그러한 구분을 요구하지 않는 것으로 이해되어야 한다. 상술한 프로그램 구성요소 및 시스템은 일반적으로 단일 소프트웨어 제품 또는 멀티플 소프트웨어 제품에 패키지로 구현될 수 있다.Although the operations are described in a particular order in the figures, it should be understood that such operations are performed in a particular order as shown, or that all described operations are performed in a series of sequential orders, or to obtain the desired result. In certain circumstances, multitasking and parallel processing may be advantageous. It should also be understood that the division of various system components in the above embodiments does not require such distinction in all embodiments. The above-described program components and systems can generally be implemented as a single software product or as a package in multiple software products.
따라서, 본 실시예 및 본 명세서에 첨부된 도면은 본 발명에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 본 발명의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형예와 구체적인 실시예는 모두 본 발명의 권리범위에 포함되는 것이 자명하다고 할 것이다.Therefore, it should be understood that the present invention and the drawings attached hereto are only a part of the technical idea included in the present invention, and that those skilled in the art will readily understand the technical ideas included in the specification and drawings of the present invention It is obvious that all the variations and concrete examples that can be deduced are included in the scope of the present invention.
본 발명은 네트워크 기반 감시 시스템에 적용될 수 있다.
The present invention can be applied to a network-based monitoring system.
120 : 이벤트 센서
130 : 이벤트 처리부
150 : 감시 서버
160 : 이벤트 표시부
170 : 스토리지 서버
180 : 사용자 단말기
220 : 인터페이스부
230 : 이벤트 센서
240 : 이미지 처리부
250 : 이벤트 처리부
260 : 적외선 광원
270 : 로컬 저장소
280 : 표시 LED
290 : 스피커
310 : 감시 카메라
330 : 이벤트 처리부
350 : 감시 서버
(1) 영상 정보 획득
(2) 영상 정보
(3) 영상 정보 분석
(4) 촬영 설정
(5) 센서 신호 획득
(6) 센서 신호
(7) 촬영 설정
(8) 이벤트 검출
(9) 이벤트
(10) 이벤트 표시120: Event sensor
130: Event processor
150: Surveillance Server
160: Event display
170: storage server
180: User terminal
220:
230: Event sensor
240:
250: Event processor
260: Infrared light source
270: Local storage
280: Display LED
290: Speaker
310: Surveillance camera
330: Event processor
350: Surveillance Server
(1) Acquisition of image information
(2) Image information
(3) Analysis of image information
(4) Shooting setting
(5) Sensor signal acquisition
(6) Sensor signal
(7) Shooting setting
(8) Event detection
(9) Events
(10) Event display
Claims (11)
네트워크에 연결되고, 촬영 설정에 따라 감시 대상으로부터의 영상 정보를 획득하며, 획득된 영상 정보를 로컬 저장소에 저장하거나 상기 네트워크를 통해 전송하는 감시 카메라;
네트워크를 통해 상기 감시 카메라에 연결되어 상기 영상 정보를 수신하고, 수신된 영상 정보를 분석하여 상기 촬영 설정을 결정하며, 수신된 상기 영상 정보를 스토리지 서버 및 사용자 단말기 상에서 동작하는 사용자 애플리케이션 중 적어도 하나로 전송하는 감시 서버; 및
상기 감시 카메라의 동작 환경, 네트워크 상태, 상기 감시 카메라의 동작 상태, 상기 사용자 단말기로부터의 영상 정보의 실시간 요청 여부, 상기 사용자 단말기로부터의 제어 명령의 존부, 상기 사용자 단말기로부터의 음성 대화 요청 여부, 상기 영상 정보의 저장 위치, 상기 영상 정보의 분석 결과 중 적어도 하나에 기반하여 사용자에게 표시할 이벤트를 검출하는 이벤트 처리부를 포함하고,
상기 감시 카메라는 상기 이벤트 처리부로부터의 이벤트 신호에 따라 이벤트의 발생 상태를 표시하는 이벤트 표시부를 포함하는, 이벤트 알림 기능이 있는 네트워크 기반 감시 시스템.A network-based monitoring system having an event notification function,
A surveillance camera which is connected to the network and acquires image information from the surveillance target according to the photographing setting, stores the acquired image information in a local repository, or transmits the acquired image information through the network;
And a control unit connected to the surveillance camera through the network to receive the image information, analyze the received image information to determine the image capture setting, transmit the received image information to at least one of a storage server and a user application operating on the user terminal Monitoring server; And
Wherein the control unit is further configured to determine whether a video chatting request is received from the user terminal, whether the video chatting request is received from the user terminal, An event processing unit for detecting an event to be displayed to a user based on at least one of a storage location of the image information and an analysis result of the image information,
Wherein the surveillance camera includes an event display unit for displaying an event occurrence status according to an event signal from the event processing unit.
도어 개방 센서, 연기 검출 센서, 온도 센서, 음향 센서, 및 조도 센서 중 적어도 하나를 포함하는 이벤트 센서로서, 상기 감시 카메라의 감시 대상에 발생하는 이벤트를 검출하기 위한, 이벤트 센서를 더 포함하고,
상기 이벤트 처리부는 상기 이벤트 센서로부터의 센서 신호에 더욱 기반하여 상기 이벤트를 검출하며,
상기 감시 서버는 상기 이벤트 센서로부터의 센서 신호를 참조하여 상기 촬영 설정을 결정하는, 이벤트 알림 기능이 있는 네트워크 기반 감시 시스템.The method according to claim 1,
Further comprising an event sensor for detecting an event occurring in a monitored object of the surveillance camera, the event sensor comprising at least one of a door open sensor, a smoke detection sensor, a temperature sensor, an acoustic sensor, and an illuminance sensor,
Wherein the event processor detects the event further based on a sensor signal from the event sensor,
Wherein the monitoring server determines the shooting setting by referring to a sensor signal from the event sensor.
상기 이벤트 처리부는, 상기 네트워크의 오동작 상태, 상기 감시 카메라의 오동작 상태, 상기 사용자 단말기로부터의 영상 정보의 실시간 요청의 존재, 상기 사용자 단말기로부터의 제어 명령의 존재, 상기 사용자 단말기로부터의 음성 대화 요청의 존재, 상기 감시 대상에서의 이상 상황의 발생 중 적어도 하나를 상기 이벤트로서 검출하여 상기 이벤트 신호를 생성하는, 이벤트 알림 기능이 있는 네트워크 기반 감시 시스템.The method according to claim 1,
Wherein the event processing unit is operable to detect a malfunction state of the network, a malfunction state of the surveillance camera, a presence of a real-time request for video information from the user terminal, a presence of a control command from the user terminal, And generating an event signal by detecting at least one of the presence, occurrence of an abnormal situation in the monitored object as the event.
상기 감시 서버 및 상기 사용자 단말기는 인터넷 프로토콜에 따라 상기 네트워크를 통해 상호 통신하고,
상기 이벤트 처리부는 PING 신호를 사용하여 상기 네트워크 오동작 상태를 검출하는, 이벤트 알림 기능이 있는 네트워크 기반 감시 시스템.The method of claim 3,
Wherein the monitoring server and the user terminal communicate with each other through the network according to an Internet protocol,
Wherein the event processing unit detects the network malfunction state using a PING signal.
상기 이벤트 표시부는 상기 이벤트 신호에 따라 점멸하는 LED 및 상기 이벤트를 음향 신호로서 출력하는 스피커 중 적어도 하나를 포함하는, 이벤트 알림 기능이 있는 네트워크 기반 감시 시스템.The method according to claim 1,
Wherein the event display unit includes at least one of an LED flashing according to the event signal and a speaker outputting the event as a sound signal.
상기 감시 카메라는,
네트워크에 연결되는 인터페이스부;
상기 감시 대상을 촬영하는 렌즈부;
상기 감시 대상에 적외선을 조사하는 적외선 광원;
상기 렌즈부로부터 촬영되는 영상을 감지하여 아날로그 신호를 생성하는 이미지 센서부;
상기 이미지 센서부로부터 입력되는 아날로그 신호를 디지털 신호로 변환하는 이미지 처리부;
디지털 신호로 변환된 영상 정보를 저장하기 위한 로컬 저장소; 및
상기 이벤트 처리부로부터의 이벤트 신호에 따라 이벤트의 발생 상태를 표시하는 표시용 LED를 포함하는, 이벤트 알림 기능이 있는 네트워크 기반 감시 시스템.The method according to claim 1,
The surveillance camera includes:
An interface unit connected to the network;
A lens unit for photographing the object to be monitored;
An infrared light source for irradiating the object to be monitored with infrared rays;
An image sensor unit for sensing an image photographed from the lens unit and generating an analog signal;
An image processing unit for converting an analog signal input from the image sensor unit into a digital signal;
A local storage for storing image information converted into a digital signal; And
And a display LED for displaying an occurrence status of an event in accordance with an event signal from the event processing unit.
네트워크에 연결되는 인터페이스부;
촬영 설정에 따라 감시 대상을 촬영하는 렌즈부;
상기 감시 대상에 적외선을 조사하는 적외선 광원;
상기 렌즈부로부터 촬영되는 영상을 감지하여 아날로그 신호를 생성하는 이미지 센서부;
상기 이미지 센서부로부터 입력되는 아날로그 신호를 디지털 신호로 변환하는 이미지 처리부;
디지털 신호로 변환된 영상 정보를 저장하기 위한 로컬 저장소;
상기 감시 카메라의 동작 환경, 네트워크 상태, 상기 감시 카메라의 동작 상태, 상기 사용자 단말기로부터의 영상 정보의 실시간 요청 여부, 상기 사용자 단말기로부터의 제어 명령의 존부, 상기 사용자 단말기로부터의 음성 대화 요청 여부, 상기 영상 정보의 저장 위치, 상기 영상 정보의 분석 결과 중 적어도 하나에 기반하여 사용자에게 표시할 이벤트를 검출하는 이벤트 처리부; 및
상기 이벤트 처리부로부터의 이벤트 신호에 따라 이벤트의 발생 상태를 표시하는 표시용 LED를 포함하는, 이벤트 알림 기능이 있는 네트워크 기반 감시 카메라.A network-based surveillance camera having an event notification function, which is connected to a surveillance server through a network,
An interface unit connected to the network;
A lens unit for photographing an object to be monitored according to a photographing setting;
An infrared light source for irradiating the object to be monitored with infrared rays;
An image sensor unit for sensing an image photographed from the lens unit and generating an analog signal;
An image processing unit for converting an analog signal input from the image sensor unit into a digital signal;
A local storage for storing image information converted into a digital signal;
Wherein the control unit is further configured to determine whether a video chatting request is received from the user terminal, whether the video chatting request is received from the user terminal, An event processing unit for detecting an event to be displayed to a user based on at least one of a storage location of the image information and an analysis result of the image information; And
And a display LED for displaying an occurrence status of an event in accordance with an event signal from the event processing unit.
도어 개방 센서, 연기 검출 센서, 온도 센서, 음향 센서, 및 조도 센서 중 적어도 하나를 포함하는 이벤트 센서로서, 상기 감시 카메라의 감시 대상에 발생하는 이벤트를 검출하기 위한, 이벤트 센서를 더 포함하고,
상기 이벤트 처리부는 상기 이벤트 센서로부터의 센서 신호에 더욱 기반하여 상기 이벤트를 검출하며,
상기 감시 서버는 상기 이벤트 센서로부터의 센서 신호를 참조하여 상기 촬영 설정을 결정하는, 이벤트 알림 기능이 있는 네트워크 기반 감시 카메라.8. The method of claim 7,
Further comprising an event sensor for detecting an event occurring in a monitored object of the surveillance camera, the event sensor comprising at least one of a door open sensor, a smoke detection sensor, a temperature sensor, an acoustic sensor, and an illuminance sensor,
Wherein the event processor detects the event further based on a sensor signal from the event sensor,
Wherein the monitoring server determines the shooting setting by referring to a sensor signal from the event sensor.
상기 이벤트 처리부는, 상기 네트워크의 오동작 상태, 상기 감시 카메라의 오동작 상태, 상기 사용자 단말기로부터의 영상 정보의 실시간 요청의 존재, 상기 사용자 단말기로부터의 제어 명령의 존재, 상기 사용자 단말기로부터의 음성 대화 요청의 존재, 상기 감시 대상에서의 이상 상황의 발생 중 적어도 하나를 상기 이벤트로서 검출하여 상기 이벤트 신호를 생성하는, 이벤트 알림 기능이 있는 네트워크 기반 감시 카메라.8. The method of claim 7,
Wherein the event processing unit is operable to detect a malfunction state of the network, a malfunction state of the surveillance camera, a presence of a real-time request for video information from the user terminal, a presence of a control command from the user terminal, And an occurrence of an abnormal situation in the monitored object as the event to generate the event signal.
상기 감시 서버 및 상기 사용자 단말기는 인터넷 프로토콜에 따라 상기 네트워크를 통해 상호 통신하고,
상기 이벤트 처리부는 PING 신호를 사용하여 상기 네트워크 오동작 상태를 검출하는, 이벤트 알림 기능이 있는 네트워크 기반 감시 카메라.12. The method of claim 11,
Wherein the monitoring server and the user terminal communicate with each other through the network according to an Internet protocol,
Wherein the event processing unit detects the network malfunction state using a PING signal.
상기 이벤트를 음향 신호로서 출력하는 스피커를 더 포함하는, 이벤트 알림 기능이 있는 네트워크 기반 감시 카메라.8. The method of claim 7,
Further comprising a speaker for outputting the event as a sound signal.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020150074737A KR101726315B1 (en) | 2015-05-28 | 2015-05-28 | Network based monitoring system and network based monitoring camera having event notifying function |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020150074737A KR101726315B1 (en) | 2015-05-28 | 2015-05-28 | Network based monitoring system and network based monitoring camera having event notifying function |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170044662A Division KR20170044619A (en) | 2017-04-06 | 2017-04-06 | Network based monitoring system and network based monitoring camera having event notifying function |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20160139582A true KR20160139582A (en) | 2016-12-07 |
KR101726315B1 KR101726315B1 (en) | 2017-04-12 |
Family
ID=57573165
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020150074737A KR101726315B1 (en) | 2015-05-28 | 2015-05-28 | Network based monitoring system and network based monitoring camera having event notifying function |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101726315B1 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102038574B1 (en) * | 2019-05-24 | 2019-10-31 | (주)텔미전자 | Multi-purpose road image monitoring system with TOD sensor and easy to install |
KR20200069063A (en) * | 2018-12-06 | 2020-06-16 | 주식회사 여기오늘 | A method for enhancing sensing information of a terminal for estimating an abnormal symptom from sensing information of a terminal and a disaster monitoring system using the same |
KR102231795B1 (en) * | 2020-12-18 | 2021-03-25 | (주)지비유 데이터링크스 | Server for providing and storing large capacity cctv video, and system for providing and storing cctv video including the same |
KR20220000172A (en) * | 2020-06-25 | 2022-01-03 | 주식회사 자비스넷 | An apparatus and a system for providing a security surveillance service based on edge computing and a method for operating them |
KR102690657B1 (en) * | 2023-11-30 | 2024-08-05 | 주식회사 벡터시스 | Intelligent monitoring system capable of repurposing general cctv cameras |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102369805B1 (en) | 2017-08-23 | 2022-03-03 | 한화테크윈 주식회사 | Method and apparatus for determining camera operation mode |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100030694A (en) * | 2008-09-11 | 2010-03-19 | (주)아구스 | Dvr monitoring system and method for offering event information |
KR20110023651A (en) | 2009-08-31 | 2011-03-08 | 김동선 | Solar batttery digital wibro ip cctv and backup system development |
KR20110099584A (en) * | 2010-03-02 | 2011-09-08 | 안현진 | Unmanned guard system using network |
KR20130065069A (en) * | 2011-12-09 | 2013-06-19 | 엘지전자 주식회사 | Apparatus and method for transmitting data of network camera |
KR101511224B1 (en) * | 2014-08-01 | 2015-04-13 | 주식회사 네오콤 | CCTV camera for display with realtime change operating state |
-
2015
- 2015-05-28 KR KR1020150074737A patent/KR101726315B1/en active IP Right Grant
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100030694A (en) * | 2008-09-11 | 2010-03-19 | (주)아구스 | Dvr monitoring system and method for offering event information |
KR20110023651A (en) | 2009-08-31 | 2011-03-08 | 김동선 | Solar batttery digital wibro ip cctv and backup system development |
KR20110099584A (en) * | 2010-03-02 | 2011-09-08 | 안현진 | Unmanned guard system using network |
KR20130065069A (en) * | 2011-12-09 | 2013-06-19 | 엘지전자 주식회사 | Apparatus and method for transmitting data of network camera |
KR101511224B1 (en) * | 2014-08-01 | 2015-04-13 | 주식회사 네오콤 | CCTV camera for display with realtime change operating state |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200069063A (en) * | 2018-12-06 | 2020-06-16 | 주식회사 여기오늘 | A method for enhancing sensing information of a terminal for estimating an abnormal symptom from sensing information of a terminal and a disaster monitoring system using the same |
KR102038574B1 (en) * | 2019-05-24 | 2019-10-31 | (주)텔미전자 | Multi-purpose road image monitoring system with TOD sensor and easy to install |
KR20220000172A (en) * | 2020-06-25 | 2022-01-03 | 주식회사 자비스넷 | An apparatus and a system for providing a security surveillance service based on edge computing and a method for operating them |
KR102231795B1 (en) * | 2020-12-18 | 2021-03-25 | (주)지비유 데이터링크스 | Server for providing and storing large capacity cctv video, and system for providing and storing cctv video including the same |
KR102690657B1 (en) * | 2023-11-30 | 2024-08-05 | 주식회사 벡터시스 | Intelligent monitoring system capable of repurposing general cctv cameras |
Also Published As
Publication number | Publication date |
---|---|
KR101726315B1 (en) | 2017-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101726315B1 (en) | Network based monitoring system and network based monitoring camera having event notifying function | |
US10275263B2 (en) | Emergency video camera system | |
US9819911B2 (en) | Home, office security, surveillance system using micro mobile drones and IP cameras | |
JP7142698B2 (en) | Integrated device based on the Internet of Things (IoT) for monitoring and controlling events in the environment | |
EP2492883A1 (en) | Integrated system and method for security monitoring and early fire alarming | |
CA2666527A1 (en) | Method and apparatus for setting camera viewpoint based on alarm event or condition | |
KR102162364B1 (en) | Bridge device supporting alarm format | |
TW201534118A (en) | Surveillance system, surveillance camera and method for security surveillance | |
KR200433431Y1 (en) | Standalone surveillance system | |
CN106358022A (en) | Security and protection monitoring method based on videos | |
KR20070061213A (en) | A system and method for security with remote controllerable robot | |
KR20150018975A (en) | Photographing and monitoring system based on GPS for emergency scene using IP CCTV and Photographing and monitoring method for emergency scene therefor | |
KR100857073B1 (en) | Realtime remote monitoring system | |
US11488458B2 (en) | Systems and methods for providing an immersive experience of a facility control room using virtual reality | |
US9633533B2 (en) | System and method for interacting with digital video recorders through networking applications | |
KR20030085921A (en) | System for monitering remote control | |
US20160044282A1 (en) | Desk-side surveillance | |
KR101483614B1 (en) | Outdoor security apparatus using motion detection | |
KR20150041939A (en) | A door monitoring system using real-time event detection and a method thereof | |
JP2009015536A (en) | Suspicious person report device, suspicious person monitoring device and remote monitoring system using the same | |
KR20120098088A (en) | Remote monitoring system having property of router and function of 3generation | |
KR101967430B1 (en) | Smart Digital Door lock and Its Control Method | |
KR101934534B1 (en) | A internet protocol surveillance camera capable of determining the operating state | |
KR101938758B1 (en) | MANLESS SECURITY SYSTEM BASED ON IoT | |
KR102479420B1 (en) | Mobile monitoring system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E90F | Notification of reason for final refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20200128 Year of fee payment: 4 |