KR20150116325A - System and Method for simulating Golf using Depth Information - Google Patents

System and Method for simulating Golf using Depth Information Download PDF

Info

Publication number
KR20150116325A
KR20150116325A KR1020140041442A KR20140041442A KR20150116325A KR 20150116325 A KR20150116325 A KR 20150116325A KR 1020140041442 A KR1020140041442 A KR 1020140041442A KR 20140041442 A KR20140041442 A KR 20140041442A KR 20150116325 A KR20150116325 A KR 20150116325A
Authority
KR
South Korea
Prior art keywords
ball
image
golf
depth
head
Prior art date
Application number
KR1020140041442A
Other languages
Korean (ko)
Other versions
KR101705840B1 (en
Inventor
권순각
Original Assignee
동의대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동의대학교 산학협력단 filed Critical 동의대학교 산학협력단
Priority to KR1020140041442A priority Critical patent/KR101705840B1/en
Publication of KR20150116325A publication Critical patent/KR20150116325A/en
Application granted granted Critical
Publication of KR101705840B1 publication Critical patent/KR101705840B1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021Tracking a path or terminating locations
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021Tracking a path or terminating locations
    • A63B2024/0028Tracking the path of an object, e.g. a ball inside a soccer pitch
    • A63B2024/0031Tracking the path of an object, e.g. a ball inside a soccer pitch at the starting point
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021Tracking a path or terminating locations
    • A63B2024/0056Tracking a path or terminating locations for statistical or strategic analysis
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/80Special sensors, transducers or devices therefor
    • A63B2220/806Video cameras

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

The present invention relates to a system and method for simulating a golf using depth information, which recognize a golf ball and a golf club using gained depth information through a depth capture module, and can carry out a simulation by reading a movement of the golf ball during a certain time when the golf club hits the golf ball. The system comprises: a depth image capture module for gaining a depth image for an area where hitting the golf ball is carried out; a background storage portion for storing a background image for determining an object; a depth image analysis processing portion for detecting the object, and extracting a pointer from the detected object; a three-dimensional coordinate conversion portion for converting the extracted object pointer into a real-world coordinate; an object trajectory calculation portion for analyzing a trajectory of the object, and calculating a final location of the ball; an image storage portion for storing a swing image; and an image playing portion for playing the stored image.

Description

깊이 정보를 이용한 골프 시뮬레이션 시스템 및 방법{System and Method for simulating Golf using Depth Information}TECHNICAL FIELD [0001] The present invention relates to a Golf Simulation system and method using depth information,

본 발명은 골프 시뮬레이션에 관한 것으로, 구체적으로 깊이 촬영 모듈을 통하여 구해진 깊이 정보를 이용하여 골프공과 골프 클럽을 인식하고, 골프 클럽이 골프공을 타격하였을 때 일정시간 동안의 골프공의 움직임을 읽어 시뮬레이션을 할 수 있도록 한 깊이 정보를 이용한 골프 시뮬레이션 시스템 및 방법에 관한 것이다.More particularly, the present invention relates to golf simulation. More specifically, the present invention relates to a golf simulator that recognizes a golf ball and a golf club using depth information obtained through a depth photographing module, reads a motion of the golf ball for a predetermined time when the golf club hits the golf ball, And more particularly, to a golf simulation system and method using depth information.

일반적으로 골프는 일정한 거리만큼 떨어진 곳에 홀컵을 마련하고 드라이버 등 골프채로 골프공을 타격하여 홀컵에 골프공을 넣되 각 코스 마다 정해진 타수가 있고 가장 적은 타수로 18개의 코스를 완주한 골퍼가 이기는 경기를 말한다.Generally, golfers prepare a hole cup a certain distance away, and put a golf ball into a hole cup by hitting a golf ball with a golf ball, such as a driver, and a golfer who finishes 18 courses with the lowest number of batters It says.

골프는 채의 재질, 길이, 헤드의 형상, 헤드의 재질, 헤드의 무게 및 클럽헤드의 로프트 등이 다른 다양한 골프 클럽이 있으며, 각 코스의 형상 등에 따라 다양한 골프 클럽 중 가장 적합한 클럽을 선택하여 티 그라운드에 홀컵까지 플레이를 하게 된다.There are a variety of different golf clubs, including golf clubs, materials, length, head shape, head material, head weight and club head loft. Depending on the shape of each course, I play to the hole cup on the ground.

골프 클럽에는 크게 우드(Wood)와 아이언(Iron) 및 퍼터(Putter)로 이루어지며 우드와 아이언에는 각 클럽의 길이 및 클럽 페이스면의 수직 기울기(로프트)에 따라 번호가 매겨져 있다.Golf clubs consist largely of wood, iron and putter. Woods and irons are numbered according to the length of each club and the vertical slope (loft) of the clubface face.

그리고 골프 시뮬레이션은 실내에서 가상의 골프장을 표시하도록 하는 스크린과 골프공을 스크린을 향해 타격을 하면 골프공의 이동 속도 및 방향을 감지하는 장치를 구비하여, 스크린상에 골프공이 이동하는 장면을 나타냄으로써, 골프 연습 및 가상의 골프 경기를 한정된 공간에서 이용할 수 있도록 해주는 시스템이다.The golf simulation includes a screen for displaying a virtual golf course in the room and a device for sensing the moving speed and direction of the golf ball when the golf ball is hit toward the screen, , Golf practice and virtual golf games in a limited space.

이러한 가상 골프 시뮬레이션 시스템은, 골프공이 비행하는 경우, 비행하는 골프공에 대한 물리적인 특성 즉, 골프공의 이동 속도, 방향 및 회전율을 측정하기 위하여 다양한 측정 시스템들이 이용되고 있다.In the virtual golf simulation system, various measurement systems are used to measure the physical characteristics of a flying golf ball, that is, the moving speed, direction and rotation rate of the golf ball when the golf ball is flying.

골프공의 움직임에 대한 물리적 정보를 정확하게 센싱하기 위한 각종 센싱 시스템에 대한 연구 개발이 매우 활발하게 진행되고 있는 실정이다.Research and development of various sensing systems for accurately sensing physical information on the motion of a golf ball have been actively conducted.

예를 들어, 적외선 센서를 이용한 센싱 시스템, 레이저 센서를 이용한 센싱 시스템, 음향 센서를 이용한 센싱 시스템, 그리고 카메라 센서를 이용한 센싱 시스템 등 다양한 센싱 시스템이 등장하고 있다.For example, various sensing systems such as a sensing system using an infrared sensor, a sensing system using a laser sensor, a sensing system using an acoustic sensor, and a sensing system using a camera sensor have appeared.

그러나 이와 같은 종래 기술의 골프 시뮬레이션 시스템은 시스템 구축 비용 및 복잡도 측면에서 개선이 필요하고, 골프공의 이동 속도, 골프공의 크기, 골프공의 회전율 등의 골프공에 대한 물리적 특성이 정확하게 반영된 시뮬레이션이 어렵다.However, such a conventional golf simulation system needs improvement in terms of system construction cost and complexity, and simulation that precisely reflects the physical characteristics of the golf ball such as the moving speed of the golf ball, the size of the golf ball, it's difficult.

한국공개특허번호 제10-2013-0047081호Korean Patent Publication No. 10-2013-0047081 한국등록번호 제10-1019902호Korean Registration No. 10-1019902

본 발명은 이와 같은 종래 기술의 골프 시뮬레이션 시스템의 문제를 해결하기 위한 것으로, 깊이 촬영 모듈을 통하여 구해진 깊이 정보를 이용하여 골프공과 골프 클럽을 인식하고, 골프 클럽이 골프공을 타격하였을 때 일정시간 동안의 골프공의 움직임을 읽어 시뮬레이션을 할 수 있도록 한 깊이 정보를 이용한 골프 시뮬레이션 시스템 및 방법을 제공하는데 그 목적이 있다.In order to solve the problem of the conventional golf simulation system, the present invention recognizes a golf ball and a golf club using depth information obtained through a depth photographing module, and when the golf club hits the golf ball, And a golf simulation system and method using depth information that enables a simulation of a golf ball by reading the golf ball's motion.

본 발명은 타석판 영역에 인접하여 깊이 촬영 모듈을 설치하고, 구해진 깊이 정보를 이용하여 골프공과 골프 클럽을 인식하고, 골프 클럽이 골프공을 타격하였을 때 일정시간 동안의 골프 공의 움직임을 읽고, 이를 토대로 골프공의 움직임을 시뮬레이션하여 공이 도달한 거리와 공의 진행 방향을 알아낼 수 있도록 한 깊이 정보를 이용한 골프 시뮬레이션 시스템 및 방법을 제공하는데 그 목적이 있다.The present invention is characterized in that a depth photographing module is installed adjacent to a toe plate region, recognizes a golf ball and a golf club using the obtained depth information, reads the movement of the golf ball for a predetermined time when the golf club hits the golf ball, And a golf simulation system and method using depth information that can simulate the movement of a golf ball based on the golf ball and determine the traveling distance of the ball and the traveling direction of the ball.

본 발명은 골프 시뮬레이션 과정을 깊이 영상뿐만 아니라 색 영상으로 동영상을 녹화하여 스윙 장면을 리플레이할 수 있도록 한 깊이 정보를 이용한 골프 시뮬레이션 시스템 및 방법을 제공하는데 그 목적이 있다.An object of the present invention is to provide a golf simulation system and method using depth information that enables a golf simulation process to replay a swing scene by recording a moving image with color images as well as a depth image.

본 발명은 헤드의 중심부를 알 수 있도록 객체를 검출하는 단계에서 헤드를 표시하고 저장하여 재생할 때 표시된 영역에 대해 알아보기 쉽게 나타냄으로써 자신의 스윙에 대하여 문제점을 찾아낼 수 있도록 한 깊이 정보를 이용한 골프 시뮬레이션 시스템 및 방법을 제공하는데 그 목적이 있다.In the present invention, the head is displayed in the step of detecting the center of the head so that the center of the head can be recognized, A simulation system and method are provided.

본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.

이와 같은 목적을 달성하기 위한 본 발명에 따른 깊이 정보를 이용한 골프 시뮬레이션 시스템은 골프 공의 타격이 이루어지는 영역에 대한 깊이 영상을 얻는 깊이 영상 촬영 모듈;객체를 판단하기 위한 배경 영상을 저장하는 배경 저장부;객체를 검출하고 검출된 객체로부터 포인터를 추출하는 깊이 영상 분석 처리부;추출된 객체 포인터로부터 실세계 좌표로 변환을 하는 3차원 좌표 변환부;객체의 궤적을 분석하여 최종적인 공의 위치를 계산하는 객체 궤적 계산부;스윙 영상을 저장하는 영상 저장부;저장된 영상을 재생하는 영상 재생부;를 포함하는 것을 특징으로 한다.In order to achieve the above object, a golf simulation system using depth information according to the present invention includes a depth image photographing module for obtaining a depth image of a region where a golf ball is hit, a background storage unit for storing a background image for determining an object, A depth image analysis processing unit for detecting an object and extracting a pointer from the detected object, a three-dimensional coordinate transformation unit for transforming the extracted object pointer into a real world coordinate system, an object for calculating the final position of the ball by analyzing the object's trajectory A swing image storage unit for storing swing images, and an image reproducing unit for reproducing the stored images.

여기서, 상기 배경 저장부는, 골프 공의 타격이 이루어지는 영역에 골프 매트를 제외하고는 어떠한 물체도 놓지 않은 상태에서 깊이 영상 촬영 모듈을 통하여 골프 매트에 해당하는 배경 깊이 값을 얻어서 저장하고, 배경 값을 저장하기 위해 여러 개의 깊이 영상을 읽어서 그 중에서 최빈값 또는 중간값을 선택하여 배경 영상으로 저장하는 것을 특징으로 한다.Here, the background storage unit obtains and stores the background depth value corresponding to the golf mat through the depth image photographing module in a state where no object except the golf mat is placed in the area where the golf ball is blown, A plurality of depth images are read for storage, and a mode or a middle value is selected from the depth images and stored as a background image.

그리고 상기 깊이 영상 분석 처리부는, 골프 매트에 골프 공이 놓이면 배경 영상과 깊이 영상을 비교하여 그 결과 공을 쥔 손의 객체를 검출하고, 원하는 객체인 골프 공을 판단하기 위하여 원형도를 판단하는 방법 또는 미리 공의 모양을 저장하여 객체와 그 모양을 비교하여 판단하는 방법으로 객체를 판단하는 것을 특징으로 한다.When the golf ball is placed on the golf mat, the depth image analysis processing unit may compare the background image and the depth image to detect the object of the hand holding the ball, and determine the circularity to determine a desired golf ball The shape of the ball is previously stored, and the object is determined by comparing the shape of the object with the shape of the object.

그리고 상기 깊이 영상 분석 처리부는, 깊이 영상에서 손과 골프 공의 두 객체가 검출되어 있는 상태에서 손의 객체가 사라지고 공의 객체만 남을 때까지 계속 검사하여 촬영하는 깊이 영상에 골프 공의 객체만 남게 된다면 골프 매트에 골프 공이 있는 배경 영상이 저장되도록 하는 것을 특징으로 한다.In addition, the depth image analysis processing unit may determine that only two objects, i.e., a hand and a golf ball, are detected in the depth image, and only the object of the golf ball remains in the depth image to be continuously examined until the object of the hand disappears and only the ball remains. A background image having a golf ball is stored in the golf mat.

그리고 상기 깊이 영상 분석 처리부는, 스윙을 하게 되어 골프 클럽의 헤드가 영상에 들어오면 깊이 영상에서 골프 공이 포함된 배경 영상의 깊이 값을 빼서 골프 클럽의 헤드 객체를 추출하고, 골프 클럽 헤드의 모양의 특징을 미리 입력하여 특징과 일치한 객체를 추출하고 추출된 헤드의 중심점을 계속 추적하는 것을 특징으로 한다.When the head of the golf club enters the image due to the swing, the depth image analysis processing unit extracts the head object of the golf club by subtracting the depth value of the background image including the golf ball from the depth image, A feature is input in advance to extract an object matching the feature, and the center point of the extracted head is continuously tracked.

그리고 헤드의 중심점을 추적하는 과정에서, 헤드의 중심점을 추적한 결과 공 방향과 반대 방향이면 백스윙을 하기 위한 동작으로 판단하여 이때까지 추적한 값을 제거하고, 헤드가 공하고 충돌하지 않고 멈춘다면 연습스윙을 하기 위한 행동으로 판단하여 추적을 정지하고 추적한 값을 제거하는 것을 특징으로 한다.In the process of tracking the center point of the head, if the center point of the head is traced, it is judged that it is an operation to perform the backswing if the direction is opposite to the ball direction, and the tracked value is removed, and if the head is stopped, It is determined that the action is to swing and the tracking is stopped and the tracked value is removed.

그리고 상기 깊이 영상 분석 처리부는, 헤드가 골프 공하고 충돌하게 된다면 골프 공의 움직임을 추적하여 공이 영상에서 사라질 때까지 공의 중심점을 저장하고, 골프공의 이동 거리 계산을 위하여 저장된 공의 중심점을 분석하는 것을 특징으로 한다.The depth image analysis processing unit tracks the movement of the golf ball if the head is in conflict with the golf ball, stores the center point of the ball until the ball disappears from the image, and analyzes the center point of the ball to calculate the moving distance of the golf ball .

그리고 상기 객체 궤적 계산부는 골프 공의 중심점이 갖는 수평 방향, 수직 방향, 높이의 값 및 각 영상의 시간차를 이용하여 일정 시간 동안 공이 이동한 거리를 계산하고, 골프 공이 깊이 영상에서 사라질 때까지 공 중심점의 수평, 수직 방향의 거리와 높이를 저장하여 축적된 값을 가지고 공이 떨어진 거리를 계산하는 것을 특징으로 한다.The object locus calculating unit calculates the distance traveled by the ball for a predetermined time using the values of the horizontal direction, the vertical direction and the height of the central point of the golf ball and the time difference of each image, The distance and height in the horizontal and vertical directions of the ball are stored, and the distance of the ball with the accumulated value is calculated.

다른 목적을 달성하기 위한 본 발명에 따른 깊이 정보를 이용한 골프 시뮬레이션 방법은 깊이 카메라에서 골프 매트에 해당하는 배경 깊이 값을 얻어서 저장하고, 깊이 영상의 좌표로부터 실세계의 좌표로 변환하는 인자를 획득하는 단계;배경 영상과 깊이 영상을 비교하여 공을 쥔 손의 객체 검출하고, 손의 객체가 사라지고 골프 공의 객체만 남게 된다면 배경 영상을 저장 및 공 객체의 중심점을 실세계의 좌표로 변환하는 단계;스윙을 하게 되면 골프 클럽의 헤드 객체를 추출하고, 추출된 헤드의 중심점을 계속 추적하는 단계;헤드가 공하고 충돌하면 헤드의 움직임을 저장하고, 공의 움직임을 추적하여 공이 영상에서 사라질 때까지 공의 중심점을 저장하는 단계;저장된 공의 중심점을 분석하여 공 중심점의 깊이 영상의 수평, 수직 방향과 깊이 값을 실세계의 좌표값으로 변환하는 단계;골프 공이 깊이 영상에서 사라질 때까지 공 중심점의 수평, 수직 방향의 거리와 높이를 저장하고, 공이 사라지게 되면 축적된 값을 가지고 공이 떨어진 거리를 계산하는 단계;를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a golf simulation method using depth information, the method comprising: acquiring and storing a background depth value corresponding to a golf mat in a depth camera; acquiring a factor for converting a depth image into coordinates of a real- If the object of the hand disappears and only the object of the golf ball is left, the background image is stored and the center point of the ball object is converted into coordinates of the real world system by comparing the background image and the depth image, A head object of the golf club is extracted and the center point of the extracted head is continuously tracked. When the head is hit and collided, the head movement is stored, and the movement of the ball is tracked until the ball disappears from the image. The horizontal and vertical directions and the depth values of the depth image of the ball center point are analyzed by analyzing the center point of the stored ball A step of storing the distance and height of the ball in the horizontal and vertical directions until the golf ball disappears from the depth image and calculating the distance of the ball with the accumulated value when the ball disappears .

여기서, 공이 떨어진 거리를 계산하는 단계에서, 추적된 공의 위치에서 공의 높이를 분석하여 공이 떠 있는 동안의 시간을 알아내고, 골프공이 중력의 영향을 받아 포물선 운동을 하는 것을 이용하여 측정된 깊이 값들을 분석하여 공이 활강한 시간을, 공이 충돌될 때부터 n번째 영상에서의 공의 높이를 hn이라 하고, Δhn을 현재 높이와 이전 프레임 영상에서의 높이의 차이, 즉 Δhn=hn- hn - 1라 하면 측정된 골프 공의 높이에서 각각의 Δhn를 구할 수 있으며, n이 커질수록 Δhn 값은 선형적으로 줄어들어 결국 0에 가까워지는 것을 이용하여 Δhn 값이 0이 되는 n을 계산하고 이를 이용하여 구하는 것을 특징으로 한다.Here, in the step of calculating the distance of the ball, the height of the ball is analyzed by analyzing the ball height at the tracked position of the ball, and the time measured while the ball is floating is measured. the downhill one hours ball analyzes the value, the ball difference in height of the n-th image before the frame image for as h n, and the current height of Δh n and the height of the ball in from when a collision, that is, Δh n = h n - h n - 1 , we can find each Δh n at the height of the measured golf ball, and as n increases, Δh n Value by using the fact that the end closer to the zero is reduced linearly Δh n And calculating n using a value obtained by subtracting n from the value n.

그리고 공이 떨어진 거리를 계산하는 단계에서, 공이 수평방향으로 움직인 거리를 x, 수직방향으로 움직인 거리를 y로 하면,공의 초기 위치로부터 최종 공의 위치까지의 거리(d)는,

Figure pat00001
으로 계산하고, 공의 각도는
Figure pat00002
으로 계산하는 것을 특징으로 한다.The distance d from the initial position of the ball to the position of the final ball is calculated by dividing the distance of the ball in the horizontal direction by x,
Figure pat00001
, And the angle of the ball is
Figure pat00002
.

이와 같은 본 발명에 따른 깊이 정보를 이용한 골프 시뮬레이션 시스템 및 방법은 다음과 같은 효과를 갖는다.The golf simulation system and method using depth information according to the present invention have the following effects.

첫째, 깊이 정보를 이용하여 골프공과 골프 클럽을 인식하고, 골프 클럽이 골프공을 타격하였을 때 일정시간 동안의 골프공의 움직임을 읽어 시뮬레이션을 할 수 있다.First, the depth information is used to recognize a golf ball and a golf club, and when the golf club hit the golf ball, the motion of the golf ball can be read and simulated for a predetermined time.

둘째, 깊이 정보를 이용하여 골프공의 움직임을 시뮬레이션하여 공이 도달한 거리와 공의 진행 방향을 알아낼 수 있어 정밀한 시뮬레이션이 가능하다.Secondly, it is possible to simulate the motion of the golf ball using the depth information, so that the distance reached by the ball and the traveling direction of the ball can be determined, and precise simulation is possible.

셋째, 골프 시뮬레이션 과정을 깊이 영상뿐만 아니라 색 영상으로 동영상을 녹화하여 스윙 장면을 리플레이 할 수 있다.Third, the golf simulation process can replay the swing scene by recording a video with depth images as well as color images.

넷째, 객체를 검출하는 단계에서 헤드를 표시하고 저장하여 재생할 때 표시된 영역에 대해 알아보기 쉽게 나타냄으로써 자신의 스윙 자세에 대하여 문제점을 효율적으로 찾아낼 수 있다.Fourth, in the step of detecting an object, when displaying and storing the head and reproducing it, it is possible to easily identify the displayed area, thereby efficiently finding a problem with respect to the swing posture of the player.

다섯째, 깊이 정보를 이용하여 골프공이 바닥의 임의의 위치에 있어도 정밀한 측정이 가능하여 골프공의 궤적을 실제와 같이 시뮬레이션할 수 있다.Fifth, it is possible to accurately measure the trajectory of the golf ball even if the golf ball is at any position on the floor by using the depth information.

여섯째, 깊이 정보를 이용하여 골프공의 움직임을 시뮬레이션하여 골프공의 발사 각도에 대한 제한이 없이 정밀하게 측정할 수 있다.
Sixth, the depth information can be used to simulate the movement of a golf ball and accurately measure the golf ball without limiting its angle of launch.

도 1은 본 발명에 따른 깊이 정보를 이용한 골프 시뮬레이션 시스템의 구성도
도 2는 본 발명에 따른 깊이 정보를 이용한 골프 시뮬레이션 방법을 나타낸 플로우 차트
도 3a와 도 3b는 깊이 영상 촬영 모듈의 설치 구조 및 골프 매트의 배경 영상 구성도
도 4와 도 5는 손과 골프공의 객체검출 구성도
도 6 내지 도 9는 스윙 동작시의 골프 클럽 헤드 움직임을 추적하는 과정을 나타낸 구성도
도 10과 도 11은 골프공의 중심점 검출 및 골프공의 이동 거리 계산 방법을 나타낸 구성도
1 is a block diagram of a golf simulation system using depth information according to the present invention.
2 is a flowchart illustrating a golf simulation method using depth information according to the present invention.
FIGS. 3A and 3B show the installation structure of the depth image photographing module and the background image structure of the golf mat
Figs. 4 and 5 show the object detection configuration of the hand and the golf ball
FIGS. 6 to 9 are diagrams showing a process of tracking the movement of a golf club head during a swing operation
Figs. 10 and 11 are diagrams showing a method of detecting a center point of a golf ball and calculating a moving distance of the golf ball

이하, 본 발명에 따른 깊이 정보를 이용한 골프 시뮬레이션 시스템 및 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.Hereinafter, a preferred embodiment of a golf simulation system and method using depth information according to the present invention will be described in detail.

본 발명에 따른 깊이 정보를 이용한 골프 시뮬레이션 시스템 및 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.The features and advantages of the golf simulation system and method using depth information according to the present invention will be apparent from the following detailed description of each embodiment.

도 1은 본 발명에 따른 깊이 정보를 이용한 골프 시뮬레이션 시스템의 구성도이고, 도 2는 본 발명에 따른 깊이 정보를 이용한 골프 시뮬레이션 방법을 나타낸 플로우 차트이다.FIG. 1 is a configuration diagram of a golf simulation system using depth information according to the present invention, and FIG. 2 is a flowchart illustrating a golf simulation method using depth information according to the present invention.

본 발명은 타석판 영역에 인접하여 깊이 촬영 모듈을 설치하고, 구해진 깊이 정보를 이용하여 골프공과 골프 클럽을 인식하고, 골프 클럽이 골프 공을 타격하였을 때 일정시간 동안의 골프 공의 움직임을 읽고, 이를 토대로 골프 공의 움직임을 시뮬레이션하여 공이 도달한 거리와 공의 진행 방향을 알아내는 것이다.The present invention is characterized in that a depth photographing module is installed adjacent to a toe plate region, recognizes a golf ball and a golf club using the obtained depth information, reads the movement of the golf ball for a predetermined time when the golf club hits the golf ball, Based on this, we simulate the movement of the golf ball to find out the distance the ball reached and the direction of the ball.

이를 위한 본 발명에 따른 깊이 정보를 이용한 골프 시뮬레이션 시스템은 도 1에서와 같이, 터치 센서 영역에 대한 깊이 영상을 얻는 깊이 영상 촬영 모듈(10)과, 객체를 판단하기 위한 배경 영상을 저장하는 배경 저장부(20)와, 객체를 검출하고 검출된 객체로부터 포인터를 추출하는 깊이 영상 분석 처리부(30)와, 추출된 객체 포인터로부터 실세계 좌표로 변환을 하는 3차원 좌표 변환부(40)와, 객체의 궤적을 분석하여 최종적인 공의 위치를 계산하는 객체 궤적 계산부(50)와, 스윙 영상을 저장하는 영상 저장부(60)와, 저장된 영상을 다시 재생하는 영상 재생부(70)를 포함하는 것이다.As shown in FIG. 1, the golf simulation system using depth information according to the present invention includes a depth image capturing module 10 for obtaining a depth image of a touch sensor area, a background storage A depth image analysis processing unit 30 for detecting an object and extracting a pointer from the detected object, a three-dimensional coordinate transformation unit 40 for transforming the extracted object pointer into a real world coordinate system, An object locus calculation unit 50 for analyzing a trajectory and calculating a final position of the ball, an image storage unit 60 for storing a swing image, and an image playback unit 70 for playing back the stored image .

본 발명에 따른 깊이 정보를 이용한 골프 시뮬레이션 방법을 설명하면 다음과 같다.A golf simulation method using depth information according to the present invention will now be described.

도 2에서와 같이, 깊이 카메라에서 골프 매트에 해당하는 배경 깊이 값을 얻어서 저장하고(S201), 깊이 영상의 좌표로부터 실세계의 좌표로 변환하는 인자를 획득한다.(S202)2, a background depth value corresponding to the golf mat is obtained and stored in the depth camera (S201), and a factor for converting the coordinates of the depth image to the coordinates of the real world is obtained (S202)

이어, 매트에 공을 두기 시작하면 배경 영상과 깊이 영상을 비교하여 공을 쥔 손의 객체 검출한다.(S203)Then, when the ball is placed on the mat, the background image and the depth image are compared to detect the object of the hand holding the ball (S203)

그리고 공의 객체를 파악하여 손의 객체가 사라지고 공의 객체만 남을 때까지 계속 검사하여(S204), 공의 객체만 남게 된다면 배경 영상을 저장 및 공 객체의 중심점을 실세계의 좌표로 변환한다.(S205)(S204). If only the ball object is left, the background image is stored and the center point of the ball object is converted into the coordinates of the real world. S205)

이어, 스윙을 하게 되면 골프 클럽의 헤드 객체를 추출하고(S206), 추출된 헤드의 중심점을 계속 추적한다.(S207)Next, when the swing is performed, the head object of the golf club is extracted (S206), and the center point of the extracted head is continuously tracked (S207)

그리고 헤드가 공하고 충돌하면 헤드의 움직임을 저장하고(S208), 공의 움직임을 추적하여 공이 영상에서 사라질 때까지 공의 중심점을 저장한다.(S209)When the head collides with the ball, the movement of the head is stored (S208), and the center of the ball is stored until the ball disappears from the image (S209)

이어, 저장된 공의 중심점을 분석하여 공 중심점의 깊이 영상의 수평, 수직 방향과 깊이 값을 실세계의 좌표값으로 변환한다.(S210)Next, the center point of the stored ball is analyzed to convert the horizontal, vertical and depth values of the depth image of the center of the ball into coordinate values of the real world system (S210)

그리고 공이 깊이 영상에서 사라질 때까지 공 중심점의 수평, 수직 방향의 거리와 높이를 저장하고(S211), 공이 사라지게 되면 축적된 값을 가지고 공이 떨어진 거리를 계산한다.(S212)Then, the horizontal and vertical distances and heights of the center of the ball are stored (S211) until the ball disappears from the depth image (S211). When the ball disappears, the distance of the ball with the accumulated value is calculated (S212)

이와 같은 본 발명에 따른 깊이 정보를 이용한 골프 시뮬레이션 시스템 및 방법을 더 구체적으로 설명하면 다음과 같다.The golf simulation system and method using depth information according to the present invention will be described in more detail as follows.

도 3a와 도 3b는 깊이 영상 촬영 모듈의 설치 구조 및 골프 매트의 배경 영상 구성도이고, 도 4와 도 5는 손과 골프공의 객체검출 구성도이다.FIGS. 3A and 3B are views illustrating a background image structure of a golf mat and an installation structure of a depth image photographing module. FIG. 4 and FIG. 5 are block diagrams of object detection of a hand and a golf ball.

먼저, 도 3a에서와 같이, 타석판 영역이 촬영될 수 있는 곳에 깊이 카메라를 설치한다. 이때 카메라에 비치는 영상은 매트를 제외하고는 어떠한 물체도 놓지 않는다.First, as shown in FIG. 3A, a depth camera is installed where the inboard area can be photographed. At this time, the image displayed on the camera does not put any object except the mat.

그리고 깊이 카메라에서 골프 매트에 해당하는 배경 깊이 값을 얻어서 저장한다. 이때 정확한 배경 값을 저장하기 위해 여러 개의 깊이 영상을 읽어서 그 중에서 최빈값 또는 중간 값 등의 값을 취하여 배경영상으로 할 수 있다.Then, from the depth camera, obtain and store the background depth value corresponding to the golf mat. At this time, in order to store an accurate background value, it is possible to read several depth images and to take a value such as a mode value or an intermediate value as a background image.

이때 골프 매트의 깊이 영상은 도 3b에서와 같다.The depth image of the golf mat is shown in FIG. 3B.

이때 배경은 평평한 매트이므로 배경의 깊이 값을 읽어서 매트와 카메라간의 거리를 알아낼 수 있다. 이를 통해 깊이 영상의 좌표로부터 실세계의 좌표로 변환하는 인자를 얻어낸다.At this time, since the background is a flat mat, the distance between the mat and the camera can be determined by reading the depth value of the background. This gives the factor that converts the coordinates of the depth image to the coordinates of the real world.

도 4에서와 같이, 매트에 공을 놓는다. 매트에 공을 두기 시작하면 배경 영상과 깊이 영상을 비교하여 그 결과 공을 쥔 손의 객체가 검출된다.As in FIG. 4, a ball is placed on the mat. When a ball is placed on the mat, the background image is compared with the depth image, and as a result, the object of the hand holding the ball is detected.

하지만 그 값은 분리된 객체가 아니기 때문에 공이 아니라는 것을 판단할 수 있다.However, you can determine that the value is not a ball because it is not a separate object.

여기서, 공 객체를 판단하는 방법은 도 5에서와 같이, 원형도를 판단하는 방법이나 미리 공의 모양을 저장하여 객체와 그 모양을 비교하여 판단하는 방법 등을 쓸 수 있다.Here, as a method of determining a blank object, a method of determining a circularity or a method of comparing a shape of an object by storing the shape of a blank in advance may be used as shown in FIG.

그리고 매트에 공을 두고 손이 빠져나가게 되면 이제 공의 객체를 파악할 수 있다. 하지만 깊이 영상에서는 손과 골프 공의 두 객체가 검출되어 있는 상태이다. And if you leave the ball on the mat and leave your hand, you can now grasp the object of the ball. However, in the depth image, two objects such as a hand and a golf ball are detected.

이 상태에서 손의 객체가 사라지고 공의 객체만 남을 때까지 계속 검사한다.In this state, the object of the hand disappears and continues to be inspected until only the object of the ball remains.

그 후 촬영하는 깊이 영상에 공의 객체만 남게 된다면 매트의 배경 영상을 저장하는 방법과 같이 배경 영상을 저장한다.Then, if only the object of the ball remains in the depth image to be photographed, the background image is stored as a method of storing the background image of the matte.

그 후 공 객체의 중심점을 실세계의 좌표로 변환한다.Then, the center point of the ball object is converted into the coordinates of the real world.

그리고 스윙 동작시의 골프 클럽 헤드 움직임을 추적하는 과정은 다음과 같다.The process of tracking the movement of the golf club head during the swing motion is as follows.

도 6 내지 도 9는 스윙 동작시의 골프 클럽 헤드 움직임을 추적하는 과정을 나타낸 구성도이다.6 to 9 are block diagrams showing a process of tracking a golf club head movement during a swing operation.

스윙을 하게 되면 골프 클럽의 헤드가 영상에 들어오기 시작할 것이다.When you swing, the head of the golf club will begin to appear in the image.

이때 도 6에서와 같이, 깊이 영상에서 공이 포함된 배경 영상의 깊이 값을 빼면 골프 클럽의 헤드 객체를 추출할 수 있다. As shown in FIG. 6, if the depth value of the background image including the ball is subtracted from the depth image, the head object of the golf club can be extracted.

여기서 도 7에서와 같이, 영상에 사람의 발 등의 다른 객체가 포함되어 여러 객체들이 추출될 수도 있다. 이때는 골프 클럽 헤드의 모양의 특징을 미리 입력하여 특징과 일치한 객체를 추출한다.Here, as shown in FIG. 7, other objects such as a human foot may be included in the image so that various objects may be extracted. In this case, the feature of the shape of the golf club head is input in advance to extract the object matching the feature.

그 후 추출된 헤드의 중심점을 계속 추적한다. And then keeps track of the center point of the extracted head.

여기서 도 8에서와 같이, 사용자가 연습 스윙을 몇 번 해볼 수도 있고 본격적인 스윙을 하기 위해 백스윙을 할 수도 있다.Here, as shown in FIG. 8, the user may try the practice swing a few times, or the backswing may be performed to make a full swing.

이때 헤드의 중심점을 추적한 결과 공 방향과 반대 방향이면 백스윙을 하기 위한 동작이므로 이때까지 추적한 값을 제거한다.At this time, if the center point of the head is tracked, it is an operation for backswing if it is opposite to the ball direction, so the tracked value is removed.

반대로 공 방향으로 헤드가 접근하게 된다면 연습스윙을 위한 스윙이거나 본격적인 스윙을 하는 것이다.On the other hand, if the head approaches in the ball direction, it is a swing for practice swing or a full swing.

이때는 우선 헤드의 움직임을 추적한 다음 헤드가 공하고 충돌하게 된다면 본격적인 스윙이 되므로 헤드의 움직임을 저장한다.In this case, if the head moves and collides with the head after tracking the movement of the head, the swing becomes a full swing so that the movement of the head is stored.

반대로 헤드가 공하고 충돌하지 않고 멈춘다면 연습스윙을 하기 위한 행동이므로 추적을 정지하고 추적한 값을 제거한다.Conversely, if the head strikes and stops without colliding, stop the tracing and remove the tracked value as this is the practice swing action.

그리고 도 9에서와 같이, 헤드가 공하고 충돌하게 된다면 추출된 클럽 헤드와 공의 객체가 서로 충돌하게 된다. 이때부터 공의 움직임을 추적하여 공이 영상에서 사라질 때까지 공의 중심점을 저장한다.As shown in FIG. 9, if the head is hit and collided, the extracted club head and ball objects collide with each other. From this point on, track the movement of the ball and store the center point of the ball until the ball disappears from the image.

그리고 골프공의 중심점 검출 및 골프공의 이동 거리 계산을 위하여 저장된 공의 중심점을 분석한다.Then, the center point of the ball is analyzed for detecting the center point of the golf ball and calculating the moving distance of the golf ball.

이때 공 중심점의 깊이 영상의 수평, 수직 방향과 깊이 값을 실세계의 좌표 값으로 변환한다.At this time, the horizontal, vertical and depth values of the depth image at the center of the hole are converted into coordinate values of the real world.

그러면 공 중심점은 실세계에서의 수평 방향, 수직 방향, 높이의 값을 가지게 된다.Then, the center of gravity of the ball has the values of the horizontal direction, the vertical direction and the height in the real world.

또한 각 영상의 시간차는 카메라의 초당 프레임을 통해 구할 수 있으므로 이를 통해 일정 시간 동안 공이 이동한 거리를 알 수 있다.Also, since the time difference of each image can be obtained through the frames per second of the camera, it is possible to know the distance traveled by the ball during a certain time.

그 후 공이 깊이 영상에서 사라질 때까지 공 중심점의 수평, 수직 방향의 거리와 높이를 저장한다. 공이 사라지게 되면 축적된 값을 가지고 공이 떨어진 거리를 계산한다.Then store the horizontal and vertical distance and height of the center of the ball until the ball disappears from the depth image. When the ball disappears, calculate the distance the ball fell with the accumulated value.

골프공의 중심점 검출 및 골프공의 이동 거리 계산은 다음과 같이 이루어진다.The detection of the center point of the golf ball and the calculation of the travel distance of the golf ball are performed as follows.

도 10과 도 11은 골프공의 중심점 검출 및 골프공의 이동 거리 계산 방법을 나타낸 구성도이다.FIGS. 10 and 11 are diagrams showing a method of detecting a center point of a golf ball and calculating a moving distance of the golf ball.

먼저 추적된 공의 위치에서 공의 높이를 분석하면 공이 떠 있는 동안의 시간을 알아낼 수 있다.First, by analyzing the ball's height at the position of the traced ball, the time during which the ball is floating can be determined.

골프공은 중력의 영향을 받아 포물선 운동을 하게 되므로 측정된 깊이 값들을 분석하여 공이 활강한 시간을 알 수 있다.Since the golf ball is subjected to parabolic motion under the influence of gravity, the measured depth values can be analyzed to know the ball sliding time.

예를 들어 공이 충돌될 때부터 n번째 영상에서의 공의 높이를 hn이라 하고, Δhn을 현재 높이와 이전 프레임 영상에서의 높이의 차이, 즉 Δhn=hn- hn - 1라 하면 Δhn 값이 0이 되는 n을 계산하고 구한 값을 이용하여 구할 수도 있다.For example, let h n be the height of the hole in the nth image from when the ball collides, and let Δh n be the difference between the current height and the height of the previous frame image, ie, Δh n = h n - h n - 1 Δh n It is also possible to obtain n using the value obtained by calculating n which is a value of 0.

또한 추적된 공의 위치의 수직, 수평 방향을 분석한다.Also, analyze the vertical and horizontal directions of the tracked ball.

공은 떠 있는 동안에는 공기저항과 회전에만 영향을 받으므로 거리가 시간에 대해 선형적인 운동을 하게 되므로 각 영상마다 공의 중심점의 수직, 수평의 거리는 일정하게 줄어든다. Since the ball is affected only by air resistance and rotation while floating, the distance moves linearly with respect to time, so the vertical and horizontal distances of the center point of the ball are constantly reduced for each image.

따라서 줄어드는 정도와 활강 시간을 통하여 공이 떠 있는 동안의 수직, 수평으로 움직인 거리를 계산할 수 있다.Thus, through the amount of shrinkage and the lag time, you can calculate vertical and horizontal moving distances while the ball is floating.

그 후 스윙의 결과로 공이 도달한 곳을 거리와 각도로 보여준다.It then shows the distance and angle at which the ball reached as a result of the swing.

이때 거리는 공의 초기 위치로부터 최종 공의 위치까지의 거리이다.The distance is the distance from the initial position of the ball to the final ball position.

여기서, 공이 수평방향으로 움직인 거리를 x, 수직방향으로 움직인 거리를 y로 하면,공의 초기 위치로부터 최종 공의 위치까지의 거리(d)는 다음과 같이 계산된다.The distance d from the initial position of the hole to the final hole position is calculated as follows, where x is the horizontal moving distance of the ball and y is the vertical moving distance of the ball.

Figure pat00003
Figure pat00003

그리고 공의 각도는 공이 의도한 방향으로부터 얼마나 오차가 생겼는지를 보여주는 값이다. 이때 공의 의도한 방향은 도 11에서와 같이, X축이 되므로 수학식 2에서와 같이 계산된다.And the angle of the ball is a value that shows how much error the ball has from the intended direction. In this case, since the intended direction of the blank is the X-axis as shown in FIG. 11, it is calculated as shown in Equation (2).

Figure pat00004
Figure pat00004

이 과정을 깊이 영상뿐만 아니라 색 영상으로 동영상을 녹화하여 스윙 장면을 리플레이할 수 있다.This process can be used to replay the swing scene by recording a video as well as a depth image.

이때 헤드의 중심부는 객체를 검출하는 단계에서 헤드를 표시하고 저장하여 재생할 때 표시된 영역에 대해 알아보기 쉽게 나타냄으로써 자신의 스윙에 대하여 문제점을 찾아낼 수 있다.At this time, the center portion of the head can identify a problem with respect to the own swing by displaying the head in the step of detecting the object, easily displaying the displayed region when storing and reproducing the head.

이와 같은 본 발명에 따른 깊이 정보를 이용한 골프 시뮬레이션 시스템 및 방법은 타석판 영역에 인접하여 깊이 촬영 모듈을 설치하고, 구해진 깊이 정보를 이용하여 골프공과 골프 클럽을 인식하고, 골프 클럽이 골프공을 타격하였을 때 일정시간 동안의 골프 공의 움직임을 읽고, 이를 토대로 골프공의 움직임을 시뮬레이션하여 공이 도달한 거리와 공의 진행 방향을 알아낼 수 있도록 한 것이다.In the golf simulation system and method using depth information according to the present invention, a depth photographing module is installed adjacent to an inboard area, and the golf ball and the golf club are recognized using the obtained depth information. And the motion of the golf ball is simulated based on the motion of the golf ball for a predetermined period of time.

이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.As described above, it will be understood that the present invention is implemented in a modified form without departing from the essential characteristics of the present invention.

그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.It is therefore to be understood that the specified embodiments are to be considered in an illustrative rather than a restrictive sense and that the scope of the invention is indicated by the appended claims rather than by the foregoing description and that all such differences falling within the scope of equivalents are intended to be embraced therein It should be interpreted.

10. 깊이 영상 촬영 모듈 20. 배경 저장부
30. 깊이 영상 분석 처리부 40. 3차원 좌표 변환부
50. 객체 궤적 계산부 60. 영상 저장부
70. 영상 재생부
10. Depth image capture module 20. Background storage section
30. Depth image analysis processing unit 40. 3D coordinate transformation unit
50. Object trajectory calculation unit 60. Image storage unit
70. The image reproducing section

Claims (11)

골프 공의 타격이 이루어지는 영역에 대한 깊이 영상을 얻는 깊이 영상 촬영 모듈;
객체를 판단하기 위한 배경 영상을 저장하는 배경 저장부;
객체를 검출하고 검출된 객체로부터 포인터를 추출하는 깊이 영상 분석 처리부;
추출된 객체 포인터로부터 실세계 좌표로 변환을 하는 3차원 좌표 변환부;
객체의 궤적을 분석하여 최종적인 공의 위치를 계산하는 객체 궤적 계산부;
스윙 영상을 저장하는 영상 저장부;
저장된 영상을 재생하는 영상 재생부;를 포함하는 것을 특징으로 하는 깊이 정보를 이용한 골프 시뮬레이션 시스템.
A depth image photographing module for obtaining a depth image of a region where the golf ball is hit;
A background storage unit for storing a background image for determining an object;
A depth image analysis processing unit for detecting an object and extracting a pointer from the detected object;
A three-dimensional coordinate conversion unit for converting the extracted object pointer into real-world coordinates;
An object locus calculating unit for analyzing a locus of an object and calculating a final position of the object;
An image storage unit for storing a swing image;
And an image reproducing unit for reproducing the stored image.
제 1 항에 있어서, 상기 배경 저장부는,
골프 공의 타격이 이루어지는 영역에 골프 매트를 제외하고는 어떠한 물체도 놓지 않은 상태에서 깊이 영상 촬영 모듈을 통하여 골프 매트에 해당하는 배경 깊이 값을 얻어서 저장하고,
배경 값을 저장하기 위해 여러 개의 깊이 영상을 읽어서 그 중에서 최빈값 또는 중간값을 선택하여 배경 영상으로 저장하는 것을 특징으로 하는 깊이 정보를 이용한 골프 시뮬레이션 시스템.
The apparatus according to claim 1,
The background depth value corresponding to the golf mat is obtained and stored through the depth image photographing module in the state where no object is placed except the golf mat in the area where the golf ball is hit,
Wherein a plurality of depth images are read in order to store a background value, and a mode or a middle value is selected from the plurality of depth images to store the background image as a background image.
제 1 항에 있어서, 상기 깊이 영상 분석 처리부는,
골프 매트에 골프 공이 놓이면 배경 영상과 깊이 영상을 비교하여 그 결과 공을 쥔 손의 객체를 검출하고,
원하는 객체인 골프 공을 판단하기 위하여 원형도를 판단하는 방법 또는 미리 공의 모양을 저장하여 객체와 그 모양을 비교하여 판단하는 방법으로 객체를 판단하는 것을 특징으로 하는 깊이 정보를 이용한 골프 시뮬레이션 시스템.
The depth image analyzing apparatus according to claim 1,
When a golf ball is placed on a golf mat, the background image and the depth image are compared with each other. As a result, an object of the hand holding the ball is detected,
A golf simulation system using depth information, characterized by determining a circularity to determine a golf ball as a desired object, or determining the object by comparing the shape of the ball with the shape of the ball by storing the shape of the ball in advance.
제 1 항에 있어서, 상기 깊이 영상 분석 처리부는,
깊이 영상에서 손과 골프 공의 두 객체가 검출되어 있는 상태에서 손의 객체가 사라지고 공의 객체만 남을 때까지 계속 검사하여 촬영하는 깊이 영상에 골프 공의 객체만 남게 된다면 골프 매트에 골프 공이 있는 배경 영상이 저장되도록 하는 것을 특징으로 하는 깊이 정보를 이용한 골프 시뮬레이션 시스템.
The depth image analyzing apparatus according to claim 1,
If there are two objects of a hand and a golf ball in the depth image, the object of the hand disappears. If only the object of the golf ball remains in the depth image to be continuously inspected until only the ball object remains, Wherein the depth information of the golf course is stored.
제 1 항에 있어서, 상기 깊이 영상 분석 처리부는,
스윙을 하게 되어 골프 클럽의 헤드가 영상에 들어오면 깊이 영상에서 골프 공이 포함된 배경 영상의 깊이 값을 빼서 골프 클럽의 헤드 객체를 추출하고,
골프 클럽 헤드의 모양의 특징을 미리 입력하여 특징과 일치한 객체를 추출하고 추출된 헤드의 중심점을 계속 추적하는 것을 특징으로 하는 깊이 정보를 이용한 골프 시뮬레이션 시스템.
The depth image analyzing apparatus according to claim 1,
When the head of the golf club enters the image due to the swing, the head object of the golf club is extracted by subtracting the depth value of the background image including the golf ball from the depth image,
Wherein a shape of the golf club head is input in advance to extract an object matching the feature, and the center point of the extracted head is continuously tracked.
제 5 항에 있어서, 헤드의 중심점을 추적하는 과정에서,
헤드의 중심점을 추적한 결과 공 방향과 반대 방향이면 백스윙을 하기 위한 동작으로 판단하여 이때까지 추적한 값을 제거하고,
헤드가 공하고 충돌하지 않고 멈춘다면 연습스윙을 하기 위한 행동으로 판단하여 추적을 정지하고 추적한 값을 제거하는 것을 특징으로 하는 깊이 정보를 이용한 골프 시뮬레이션 시스템.
6. The method of claim 5, wherein, in the process of tracking the center point of the head,
As a result of tracking the center point of the head, it is judged that the action is to perform the backswing if it is opposite to the ball direction,
If the head is stopped and stops without collision, it is determined that the action is to perform a practice swing, and the tracking is stopped and the tracked value is removed.
제 1 항에 있어서, 상기 깊이 영상 분석 처리부는,
헤드가 골프 공하고 충돌하게 된다면 골프 공의 움직임을 추적하여 공이 영상에서 사라질 때까지 공의 중심점을 저장하고, 골프공의 이동 거리 계산을 위하여 저장된 공의 중심점을 분석하는 것을 특징으로 하는 깊이 정보를 이용한 골프 시뮬레이션 시스템.
The depth image analyzing apparatus according to claim 1,
The center point of the ball is stored until the ball disappears from the image, and the center point of the ball stored for the calculation of the moving distance of the golf ball is analyzed. Golf simulation system used.
제 1 항에 있어서, 상기 객체 궤적 계산부는 골프 공의 중심점이 갖는 수평 방향, 수직 방향, 높이의 값 및 각 영상의 시간차를 이용하여 일정 시간 동안 공이 이동한 거리를 계산하고,
골프 공이 깊이 영상에서 사라질 때까지 공 중심점의 수평, 수직 방향의 거리와 높이를 저장하여 축적된 값을 가지고 공이 떨어진 거리를 계산하는 것을 특징으로 하는 깊이 정보를 이용한 골프 시뮬레이션 시스템.
The method according to claim 1, wherein the object locus calculation unit calculates a distance traveled by the ball for a predetermined time period using the horizontal direction, the vertical direction, the height value of the center point of the golf ball,
Wherein the distance and the height of the ball center point are stored until the ball disappears from the depth image, and the distance of the ball with the accumulated value is calculated.
깊이 카메라에서 골프 매트에 해당하는 배경 깊이 값을 얻어서 저장하고, 깊이 영상의 좌표로부터 실세계의 좌표로 변환하는 인자를 획득하는 단계;
배경 영상과 깊이 영상을 비교하여 공을 쥔 손의 객체 검출하고, 손의 객체가 사라지고 골프 공의 객체만 남게 된다면 배경 영상을 저장 및 공 객체의 중심점을 실세계의 좌표로 변환하는 단계;
스윙을 하게 되면 골프 클럽의 헤드 객체를 추출하고, 추출된 헤드의 중심점을 계속 추적하는 단계;
헤드가 공하고 충돌하면 헤드의 움직임을 저장하고, 공의 움직임을 추적하여 공이 영상에서 사라질 때까지 공의 중심점을 저장하는 단계;
저장된 공의 중심점을 분석하여 공 중심점의 깊이 영상의 수평, 수직 방향과 깊이 값을 실세계의 좌표값으로 변환하는 단계;
골프 공이 깊이 영상에서 사라질 때까지 공 중심점의 수평, 수직 방향의 거리와 높이를 저장하고, 공이 사라지게 되면 축적된 값을 가지고 공이 떨어진 거리를 계산하는 단계;를 포함하는 것을 특징으로 하는 깊이 정보를 이용한 골프 시뮬레이션 방법.
Acquiring a background depth value corresponding to the golf mat in the depth camera and storing the depth depth value, and obtaining a factor for converting the depth image to coordinates of the real world coordinate system;
Comparing the background image and the depth image to detect the object of the hand holding the ball, storing the background image and converting the center point of the ball object into coordinates of the real world system if the object of the hand disappears and only the object of the golf ball remains;
Extracting a head object of the golf club when swinging, and continuously tracking the center point of the extracted head;
Storing movement of the head when the head collides with the ball, tracking the movement of the ball, and storing the center point of the ball until the ball disappears from the image;
Transforming the horizontal, vertical, and depth values of the depth image of the hole center point into coordinate values of the real world by analyzing the center points of the stored holes;
And storing the distance and height in the horizontal and vertical directions of the ball center point until the golf ball disappears from the depth image and calculating the distance of the ball with the accumulated value when the ball disappears. Golf simulation method.
제 9 항에 있어서, 공이 떨어진 거리를 계산하는 단계에서,
추적된 공의 위치에서 공의 높이를 분석하여 공이 떠 있는 동안의 시간을 알아내고, 골프공이 중력의 영향을 받아 포물선 운동을 하는 것을 이용하여 측정된 깊이 값들을 분석하여 공이 활강한 시간을,
공이 충돌될 때부터 n번째 영상에서의 공의 높이를 hn이라 하고, Δhn을 현재 높이와 이전 프레임 영상에서의 높이의 차이라 하면 측정된 값에서부터 Δhn이 0일 때의 n을 계산하고, 이 때의 n을 이용하여 구하는 것을 특징으로 하는 깊이 정보를 이용한 골프 시뮬레이션 방법.
10. The method of claim 9, wherein in calculating the distance the ball has fallen,
By analyzing the height of the ball at the position of the traced ball and determining the time while the ball is floating and analyzing the measured depth values using the parabolic motion of the golf ball under the influence of gravity,
Let h n be the height of the hole in the nth image from the collision of the ball, and let Δh n be the difference between the current height and the height in the previous frame image. Then, n from the measured value to Δh n is calculated , &Quot; n " at this time. ≪ / RTI >
제 9 항에 있어서, 공이 떨어진 거리를 계산하는 단계에서,
공이 수평방향으로 움직인 거리를 x, 수직방향으로 움직인 거리를 y로 하면,공의 초기 위치로부터 최종 공의 위치까지의 거리(d)는,
Figure pat00005
으로 계산하고,
공의 각도는
Figure pat00006
으로 계산하는 것을 특징으로 하는 깊이 정보를 이용한 골프 시뮬레이션 방법.


10. The method of claim 9, wherein in calculating the distance the ball has fallen,
The distance (d) from the initial position of the hole to the final hole position is given by:
Figure pat00005
Lt; / RTI >
The angle of the ball is
Figure pat00006
Wherein the depth information is calculated using the depth information.


KR1020140041442A 2014-04-07 2014-04-07 System and Method for simulating Golf using Depth Information KR101705840B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140041442A KR101705840B1 (en) 2014-04-07 2014-04-07 System and Method for simulating Golf using Depth Information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140041442A KR101705840B1 (en) 2014-04-07 2014-04-07 System and Method for simulating Golf using Depth Information

Publications (2)

Publication Number Publication Date
KR20150116325A true KR20150116325A (en) 2015-10-15
KR101705840B1 KR101705840B1 (en) 2017-02-10

Family

ID=54356933

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140041442A KR101705840B1 (en) 2014-04-07 2014-04-07 System and Method for simulating Golf using Depth Information

Country Status (1)

Country Link
KR (1) KR101705840B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102337445B1 (en) * 2021-05-14 2021-12-09 이정환 System for providing golf putting simulation servie using virtual mesh form
WO2023204467A1 (en) * 2022-04-19 2023-10-26 주식회사 인반트 Virtual environment-based simulation system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06114134A (en) * 1991-12-12 1994-04-26 Spasovskij Golan Interior visual simulator for golf compitition
US20020173365A1 (en) * 2001-05-17 2002-11-21 Bogie Boscha System and method for controlling conditions in putting as a part of a golf game
JP2008171280A (en) * 2007-01-12 2008-07-24 Nippon Hoso Kyokai <Nhk> Position detection device, method, and program
KR101019902B1 (en) 2010-06-29 2011-03-04 (주) 골프존 Sensing processing device and method for moving object, and virtual golf simulation device using the same
KR20130047081A (en) 2011-10-31 2013-05-08 박승현 Golf simulation system using high speed machine vision cameras and golf simulation method using the same

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06114134A (en) * 1991-12-12 1994-04-26 Spasovskij Golan Interior visual simulator for golf compitition
US20020173365A1 (en) * 2001-05-17 2002-11-21 Bogie Boscha System and method for controlling conditions in putting as a part of a golf game
JP2008171280A (en) * 2007-01-12 2008-07-24 Nippon Hoso Kyokai <Nhk> Position detection device, method, and program
KR101019902B1 (en) 2010-06-29 2011-03-04 (주) 골프존 Sensing processing device and method for moving object, and virtual golf simulation device using the same
KR20130047081A (en) 2011-10-31 2013-05-08 박승현 Golf simulation system using high speed machine vision cameras and golf simulation method using the same

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102337445B1 (en) * 2021-05-14 2021-12-09 이정환 System for providing golf putting simulation servie using virtual mesh form
WO2023204467A1 (en) * 2022-04-19 2023-10-26 주식회사 인반트 Virtual environment-based simulation system

Also Published As

Publication number Publication date
KR101705840B1 (en) 2017-02-10

Similar Documents

Publication Publication Date Title
JP5858261B2 (en) Virtual golf simulation apparatus, and sensing apparatus and sensing method used therefor
TWI654016B (en) Sensing device and sensing method for baseball practice device, baseball practice device using the same and sensing method, and control method thereof
KR101412505B1 (en) Golf simulator, and golf simulation method
KR102205639B1 (en) Golf ball tracking system
AU2012231925B2 (en) Virtual golf simulation apparatus and sensing device and method used for the same
US10953303B2 (en) System and method for determining impact characteristics of sports ball striking element
US11624825B2 (en) Object tracking
US12002222B2 (en) Device for calculating flight information of ball, method of calculating flight information of ball, and computing-device-readable recording medium having the method recorded therein
JP6763559B1 (en) Ball tracking device and ball tracking method
TW201242645A (en) Sensing device and method used for virtual golf simulation apparatus
US20220277463A1 (en) Tracking dynamics using a computerized device
KR101562319B1 (en) System and Method for analyzing putting motion using Depth Information
KR20130047081A (en) Golf simulation system using high speed machine vision cameras and golf simulation method using the same
KR101705840B1 (en) System and Method for simulating Golf using Depth Information
KR101703316B1 (en) Method and apparatus for measuring velocity based on image
KR20210082140A (en) Sensing method of golf club and sensing device using the same
TWI850714B (en) Method for analyzing image for sensing moving ball and sensing device using the same
US20230347209A1 (en) Device for sensing golf swing and method for sensing impact position on club head using the same
KR20220136560A (en) Golf Simulation Method and System Using the Rotational Information of Balls Measured by Two Cameras

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant