KR20020073685A - Audition control method for portable wireless terminal equipment - Google Patents

Audition control method for portable wireless terminal equipment Download PDF

Info

Publication number
KR20020073685A
KR20020073685A KR1020010013426A KR20010013426A KR20020073685A KR 20020073685 A KR20020073685 A KR 20020073685A KR 1020010013426 A KR1020010013426 A KR 1020010013426A KR 20010013426 A KR20010013426 A KR 20010013426A KR 20020073685 A KR20020073685 A KR 20020073685A
Authority
KR
South Korea
Prior art keywords
alarm sound
user
wireless terminal
portable wireless
voice signal
Prior art date
Application number
KR1020010013426A
Other languages
Korean (ko)
Other versions
KR100371191B1 (en
Inventor
이승환
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR10-2001-0013426A priority Critical patent/KR100371191B1/en
Publication of KR20020073685A publication Critical patent/KR20020073685A/en
Application granted granted Critical
Publication of KR100371191B1 publication Critical patent/KR100371191B1/en

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/58Anti-side-tone circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/60Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6016Substation equipment, e.g. for use by subscribers including speech amplifiers in the receiver circuit
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M9/00Arrangements for interconnection not involving centralised switching
    • H04M9/08Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Telephone Function (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

PURPOSE: A method for controlling an alarm sound in a portable wireless terminal is provided to prevent the damage of a hearing organ of a user by decreasing a volume of the alarm sound at a uniform level or less when the user wears an MFD(Multi Function Device) on ears. CONSTITUTION: An MDF installed in an alarm sound generating unit is driven and an alarm sound is outputted for recognizing current situation to a user(SB1). A control unit confirms whether the user currently performs a telephone conversation(SB2). If the currently performs the telephone conversation, the control unit decreases the volume of the alarm sound and outputs the alarm sound at a uniform level or less for preventing that a hearing organ of the user is damaged by an alarm sound with the uniform level or more generated from the MFD of the alarm generating unit(SB3,SB4).

Description

휴대용 무선 단말기의 경보음 제어 방법{AUDITION CONTROL METHOD FOR PORTABLE WIRELESS TERMINAL EQUIPMENT}How to control the alarm sound of a portable wireless terminal {AUDITION CONTROL METHOD FOR PORTABLE WIRELESS TERMINAL EQUIPMENT}

본 발명은 휴대용 무선 단말기를 사용할 때 청각기관이 손상되는 것을 방지하는 기술에 관한 것으로, 특히 휴대용 무선 단말기의 복합기능부품(MFD)에서 고음이 발생되어 사용자의 청각기관이 손상되는 것을 방지하는데 적당하도록 한 휴대용 무선 단말기의 경보음 제어 방법에 관한 것이다.The present invention relates to a technique for preventing damage to the hearing organs when using a portable wireless terminal, and in particular, to prevent damage to the user's hearing organ due to high sound generated in the composite functional component (MFD) of the portable wireless terminal. An alarm sound control method of a portable wireless terminal.

통상적으로, 휴대용 무선 단말기는 기지국에서 송출되는 착신신호를 무선으로 수신하여 사용자가 인식할 수 있도록 경보음을 발생하고, 충전지의 전압이 일정 레벨 이하로 떨어질 때 그 사실을 사용자가 인식할 수 있도록 경보음을 발생하며, 메시지가 도착하거나 다른 서비스 지역으로 이동할 때 경보음을 발생한다. 이와 같은 경보음은 사용자에게 현재의 상황을 인식시켜 주기 위한 것이므로, 기본적으로 큰 소리로 출력된다.In general, a portable wireless terminal wirelessly receives an incoming signal transmitted from a base station to generate an alarm sound for the user to recognize, and to alert the user when the voltage of the rechargeable battery falls below a certain level. It generates a tone and an alarm when a message arrives or moves to another service area. Since the alarm sound is for the user to recognize the current situation, it is basically output in a loud sound.

종래의 휴대용 무선 단말기에서 상기와 같은 경보음이나 진동을 발생하는 과정을 첨부한 도 1을 참조하여 설명하면 다음과 같다.Referring to Figure 1 attached to the process of generating the alarm sound or vibration in the conventional portable wireless terminal as follows.

고주파 수신부(11)를 통해 기지국으로부터 착신신호가 수신되거나 상기와 같이 경보음을 출력할 필요가 있을 때 중앙처리장치(12)는 부저(15)를 구동시키는데, 이와 같이 스피커(14)를 통해 경보음을 발생하지 않고 부저(15)를 통해 경보음을 발생하는 이유는 높은 경보음에 의해 사용자의 청각기관이 손상되는 것을 방지하기 위함이다.The central processing unit 12 drives the buzzer 15 when an incoming signal is received from the base station through the high frequency receiving unit 11 or needs to output an alarm sound as described above. The reason for generating the alarm sound through the buzzer 15 without generating a sound is to prevent the hearing organ of the user from being damaged by the high alarm sound.

그러나, 사람이 많이 밀집된 지역이나 공공장소에서 상기와 같이 부저(15)를 통해 경보음을 발생하는 경우 다른 사람에게 피해를 줄 수 있다. 이를 감안하여 사용자가 진동모드로 설정해 두면, 상기와 같은 상황에서 상기 중앙처리장치(12)가 모터(16)를 구동시켜 사용자의 신체 일부에 진동이 전달되도록 하고 있다.However, when the alarm sound is generated through the buzzer 15 as described above in a crowded area or a public place, it may damage other people. In consideration of this, when the user sets the vibration mode, the CPU 12 drives the motor 16 in such a situation so that vibration is transmitted to a part of the user's body.

이와 같이 종래의 휴대용 무선 단말기에서는 경보 상황을 알리기 위해 부저 및 모터를 사용하고 통화음을 출력하기 위해 스피커를 사용하는데, 이와 같이 여러 부품을 사용하게 되므로 단말기의 소형화 및 경량화를 구현하는데 어려움이 있었다.As described above, in the conventional portable wireless terminal, a buzzer and a motor are used to inform an alarm situation, and a speaker is used to output a call sound. Thus, since various components are used, it has been difficult to realize miniaturization and light weight of the terminal.

최근들어, 진동모터(Vibration Motor), 부저(Buzzer), 리시버(Receiver), 스피커의 4가지 부품을 한 개로 집약시킨 복합기능부품(MFD:Multi Function Device)으로 대체되고 있는 추세에 있는데, 사용자가 이 MFD를 귀에 착용한 상태에서 일정 레벨 이상의 높은 음이 출력되어 청각기관이 손상되는 사례가 종종 발생되었다.Recently, the trend has been replaced by a multi-function device (MFD) that combines four parts of a vibration motor, a buzzer, a receiver, and a speaker. While wearing this MFD on the ear, there was often a case where the sound organs were damaged due to a high level of high sound output.

따라서, 본 발명의 목적은 사용자가 복합기능부품을 귀에 착용한 상태에서는 그 복합기능부품으로부터 일정 레벨 이상의 경보음을 출력되지 않도록 경보음의 볼륨을 강제로 조정해 주는 휴대용 무선 단말기의 경보음 제어 방법을 제공함에 있다.Accordingly, an object of the present invention is a method of controlling the alarm sound of a portable wireless terminal in which the volume of the alarm sound is forcibly adjusted so that the user does not output a predetermined level of alarm sound from the compound functional part while the user wears the composite function part to the ear. In providing.

도 1은 종래 기술에 의한 휴대용 무선 단말기의 경보음 출력장치의 블록도.1 is a block diagram of an alarm sound output device of a portable wireless terminal according to the prior art.

도 2는 본 발명의 경보음 제어 방법이 적용되는 무선 단말기의 블록도.Figure 2 is a block diagram of a wireless terminal to which the alarm sound control method of the present invention is applied.

도 3a는 본 발명에 의한 주변의 음성신호에 대한 판단과정의 신호 흐름도.Figure 3a is a signal flow of the determination process for the surrounding voice signal according to the present invention.

도 3b는 본 발명에 의한 휴대용 무선 단말기의 경보음 제어 방법의 신호 흐름도.Figure 3b is a signal flow diagram of the alarm sound control method of a portable wireless terminal according to the present invention.

***도면의 주요 부분에 대한 부호의 설명****** Description of the symbols for the main parts of the drawings ***

21 : 제어부 22 : 표시장치21: control unit 22: display device

23 : 소음 측정부24 : 키 조작부23: noise measuring unit 24: key operation unit

25 : 메모리 26 : 경보음 발생부25 memory 26 alarm sound generating unit

본 발명에 의한 무선 단말기의 경보음 제어 방법은, 마이크를 통해 입력되는 단말기 주변의 음성신호가 사용자의 음성신호인지 또는 소음신호인지 판단하여 그에 따른 사용자 상태정보를 저장하는 제1과정과; 경보음을 출력하고자할 때 사용자가 통화중인지 확인하여 통화중인 것으로 판명되면 경보음의 볼륨을 일정 레벨 이하로 조정하여 출력하는 제2과정과; 사용자가 통화중이 아닌 것으로 판명되면 상기 상태정보를 확인하여 그 상태정보가 "주변의 소음신호"로 기록되어 있으면 경보음을 기 설정된 볼륨 레벨로 출력하고, "사용자의 음성신호"로 기록되어 있으면 일정 레벨 이하로 조정하여 출력하는 제3과정으로 이루어진다.According to an aspect of the present invention, there is provided a method for controlling an alarm sound of a wireless terminal, comprising: a first process of determining whether a voice signal around a terminal input through a microphone is a user's voice signal or a noise signal and storing user state information accordingly; A second step of adjusting the volume of the alarm sound to a predetermined level or less if it is determined that the user is in a call when the user wants to output the alarm sound; If it is determined that the user is not in a call, the status information is checked. If the status information is recorded as a "noise signal", the alarm sound is output at a preset volume level. The third step of adjusting and outputting below a predetermined level is performed.

도 2는 본 발명의 경보음 제어 방법이 적용되는 무선 단말기의 블록도로서 이에 도시한 바와 같이, 시스템 각부를 총괄 제어함과 아울러, 소음 측정부(23)의 출력신호를 근거로 하여 사용자 상태정보를 메모리(25)기록해 두고 경보음을 출력할 때, 통화여부 또는 그 상태정보에 따라 경보음의 볼륨을 일정 레벨 이하로 조정하거나 기 설정된 레벨을 그대로 유지하도록 제어하는 제어부(21)와; 시스템의 동작 및 제어 상태를 사용자에게 알려주기 위해 해당 정보를 디스플레이하는 표시장치(22)와; 마이크를 통해 입력되는 단말기 주변의 음성신호가 사용자의 음성신호인지 소음신호인지 판단하여 그 판단 결과를 상기 제어부(21)에 출력하는 소음 측정부(23)와; 상기 제어부(21)에 사용자의 각종 제어명령을 전달하기 위한 키 조작부(24)와; 상기 상태정보 및 상기 제어부(21)에서 필요로 하는 각종 정보를 저장하기 위한 메모리(25)와; MFD를 이용하여 각종 경보음을 출력하되, 상기 제어부(21)의 제어를 받아 그 경보음의 볼륨을 조정하는 경보음 발생부(26)로 구성한 것으로, 이와 같이 구성한 본 발명의 작용을 첨부한 도 3을 참조하여 상세히 설명하면 다음과 같다.FIG. 2 is a block diagram of a wireless terminal to which the alarm sound control method of the present invention is applied. As shown in FIG. 2, overall control of each part of the system and user state information based on the output signal of the noise measuring unit 23 are shown. A control unit 21 for recording the memory 25 and outputting an alarm sound, controlling the volume of the alarm sound to be below a predetermined level or maintaining the preset level according to whether or not a call is made or status information thereof; A display unit 22 for displaying the corresponding information to inform the user of the operation and control state of the system; A noise measuring unit 23 which determines whether the voice signal around the terminal input through the microphone is a user's voice signal or a noise signal and outputs the determination result to the controller 21; A key operation unit 24 for transmitting various control commands of the user to the control unit 21; A memory 25 for storing the status information and various information required by the controller 21; An alarm sound generator 26 outputs various alarm sounds using the MFD, and adjusts the volume of the alarm sounds under the control of the control unit 21. The operation of the present invention configured as described above is attached. Referring to 3 in detail as follows.

제어부(21)는 사용자가 키 조작부(24)를 통해 입력하는 제어명령에 따라 각종 제어기능을 수행하고, 이때 사용자에게 보여줄 필요가 있는 각종 정보를 표시장치(22)를 통해 디스플레이한다.The control unit 21 performs various control functions according to a control command input by the user through the key manipulation unit 24, and displays various information that needs to be shown to the user through the display device 22.

예를 들어, 사용자가 상기 키 조작부(24) 상에서 단축 키신호를 입력하면, 상기 제어부(21)는 메모리(25)에 저장된 해당 전화번호를 읽어와 다이얼링한다.For example, when a user inputs a shortcut key signal on the key operation unit 24, the control unit 21 reads and dials the corresponding telephone number stored in the memory 25.

또 다른 예로써, 사용자가 상기 키 조작부(24)를 이용하여 통화음량 조정모드를 설정하면, 상기 표시장치(22)에 통화음량 조정을 위한 그래픽 화면을 디스플레이하고, 사용자의 키 조작에 따라 기 설정된 통화음량을 조정하여 재 설정하게 된다.As another example, when the user sets the call volume adjusting mode using the key manipulation unit 24, a graphic screen for adjusting the call volume is displayed on the display device 22, and the preset volume is set according to the user's key operation. The call volume is adjusted to reset.

한편, 소음 측정부(23)에서는 마이크를 통해 입력되는 단말기 주변의 음성신호와 기 저장된 노이즈 신호의 특성을 비교하여 그 음성신호가 사용자의 음성신호인지 소음신호인지 판단하고, 그 판단 결과를 상기 제어부(21)에 통보해 준다.(SA1-SA3)On the other hand, the noise measuring unit 23 compares the characteristics of the voice signal around the terminal input through the microphone with the characteristics of the pre-stored noise signal to determine whether the voice signal is a user's voice signal or noise signal, and the determination result is the control unit Notify (21). (SA1-SA3)

이때, 상기 제어부(21)는 상기 소음 측정부(23)로부터 입력된 판단결과를 근거로 하여 사용자 상태정보를 상기 메모리(25)의 소정 영역에 저장하게 된다.(SA4)At this time, the controller 21 stores the user state information in a predetermined area of the memory 25 based on the determination result input from the noise measuring unit 23. (SA4)

참고로, 제1단계(SA1)의 주변소음 측정시간은 무선단말기의 파워가 온 되어 있는 시간, 사용자에 의해 설정된 시간 등 필요에 따라 임의로 설정되는 시간이다.For reference, the ambient noise measurement time of the first step SA1 is a time that is arbitrarily set as necessary, such as a time when the wireless terminal is powered on, a time set by the user, and the like.

한편, 기지국으로부터 착신신호가 수신되거나, 충전지의 전압이 일정 레벨 이하로 떨어지거나, 메시지가 도착하거나, 다른 서비스 지역으로 이동하면 사용자에게 현재의 상황을 인식시켜 주기 위해 경보음 발생부(26)에 장착된 MFD를 구동시켜 경보음을 출력하게 되는데, 이와 같은 상태에서 상기 제어부(21)는 현재 사용자가 통화중인지 확인하게 된다.(SB1,SB2)On the other hand, when an incoming signal is received from the base station, the voltage of the battery falls below a certain level, a message arrives, or moves to another service area, the alarm sound generating unit 26 is sent to the user to recognize the current situation. The mounted MFD is driven to output an alarm sound. In this state, the controller 21 checks whether the user is currently in a call. (SB1, SB2)

상기의 확인 결과 사용자가 통화중인 것으로 판명되면 상기 경보음 발생부(26)의 MFD로부터 일정 레벨 이상의 경보음이 발생되어 사용자의 청각기관이 손상되는 것을 방지하기 위하여 경보음의 볼륨을 일정 레벨 이하로 낮춰 경보음을 출력한다.(SB3,SB4)As a result of the confirmation, if the user is found to be in a call, an alarm sound of a predetermined level or more is generated from the MFD of the alarm sound generating unit 26 so as to prevent the user's hearing organ from being damaged. Lower the alarm sound (SB3, SB4).

그러나, 상기의 확인 결과 사용자가 통화중이 아닌 것으로 판명되면, 상기 메모리(25)에 저장된 사용자 상태정보를 로드하여 "주변의 소음신호"로 기록되어 있는지 "사용자의 음성신호"로 기록되어 있는지 확인한다.(SB5)However, if it is determined that the user is not in a call as a result of the above confirmation, the user state information stored in the memory 25 is loaded to confirm whether it is recorded as "ambient noise signal" or "voice signal of the user". (SB5)

상기의 확인 결과 사용자의 상태정보가 "주변의 소음신호"로 기록되어 있으면 경보음의 볼륨을 조정할 필요가 없으므로 사용자에 의해 기 설정된 볼륨 레벨로 경보음을 출력한다.(SB6)As a result of the above check, if the user's status information is recorded as "ambient noise signal", it is not necessary to adjust the volume of the alarm sound and outputs the alarm sound at the preset volume level by the user. (SB6)

하지만, 상기의 확인 결과 사용자의 상태정보가 "사용자의 음성신호"로 기록되어 있으면 현재 마이크가 사용자의 입 주변에 위치한 상태이고, 이것은 곧 사용자가 귀에 MFD를 착용하고 있는 상태를 의미하는 것이므로, 상기와 같이 경보음의 볼륨을 일정 레벨 이하로 낮춰 경보음을 출력한다.However, if the user's status information is recorded as "user's voice signal" as a result of the check, the microphone is currently located near the user's mouth, which means that the user is wearing the MFD in the ear. The alarm sound is output by lowering the volume of the alarm sound below a certain level.

이상에서 상세히 설명한 바와 같이 본 발명은 사용자가 복합기능부품을 귀에 착용한 상태인지 확인하여 그와 같은 상태에서는 복합기능부품으로부터 일정 레벨 이상의 경보음을 출력되지 않도록 경보음의 볼륨을 일정 레벨 이하로 낮춰 경보음을 출력함으로써 높은 경보음에 의해 사용자의 청각기관이 손상되는 것을 방지할 수 있는 효과가 있다.As described in detail above, the present invention checks whether the user wears the composite functional part to the ear, and in such a state, the volume of the alarm sound is lowered to a predetermined level or less so that a predetermined level or more of the alarm sound is not output from the composite functional part. By outputting the alarm sound, there is an effect that can prevent the user's hearing organ from being damaged by the high alarm sound.

Claims (3)

단말기 주변의 음성신호가 사용자의 음성신호인지 소음신호인지 판단하여 그에 따른 사용자 상태정보를 저장하는 제1과정과; 경보음을 출력하고자할 때 사용자가 통화중인 경우 경보음의 볼륨을 일정 레벨 이하로 조정한 후 경보음을 출력하는 제2과정과; 사용자가 통화중이 아닌 경우에는 상기 상태정보에 따라 경보음을 기 설정된 볼륨 레벨로 출력하거나, 일정 레벨 이하로 조정하여 출력하는 제3과정으로 이루어지는 것을 특징으로 하는 휴대용 무선 단말기의 경보음 제어 방법.Determining whether a voice signal around the terminal is a voice signal or a noise signal of the user and storing user state information according to the first signal; A second process of outputting an alarm sound after adjusting the volume of the alarm sound to a predetermined level or less when the user is busy when the user wants to output an alarm sound; And a third process of outputting the alarm sound at a predetermined volume level or adjusting the output sound to a predetermined level or less according to the status information when the user is not in a call. 제1항에 있어서, 제1과정은 마이크를 통해 입력되는 단말기 주변의 음성신호와 기 저장된 노이즈 신호의 특성을 비교하여 그 주변의 음성신호가 사용자의 음성신호인지 소음신호인지 판단하는 것을 특징으로 하는 휴대용 무선 단말기의 경보음 제어 방법.The method of claim 1, wherein the first process compares the characteristics of the voice signal around the terminal input through the microphone with the characteristics of the pre-stored noise signal to determine whether the voice signal around the terminal is a voice signal or a noise signal of the user. Alarm sound control method of a portable wireless terminal. 제1항에 있어서, 제1과정은 상기 상태정보가 "주변의 소음신호"로 기록되어 있으면 경보음을 기 설정된 볼륨 레벨로 출력하고, "사용자의 음성신호"로 기록되어 있으면 일정 레벨 이하로 조정하여 출력하는 것을 특징으로 하는 휴대용 무선 단말기의 경보음 제어 방법.The method of claim 1, wherein the first process outputs an alarm sound at a predetermined volume level when the state information is recorded as "ambient noise signal," and adjusts it to a predetermined level or less when recorded as a "user's voice signal." Alarm sound control method of a portable wireless terminal, characterized in that for outputting.
KR10-2001-0013426A 2001-03-15 2001-03-15 Audition control method for portable wireless terminal equipment KR100371191B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2001-0013426A KR100371191B1 (en) 2001-03-15 2001-03-15 Audition control method for portable wireless terminal equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2001-0013426A KR100371191B1 (en) 2001-03-15 2001-03-15 Audition control method for portable wireless terminal equipment

Publications (2)

Publication Number Publication Date
KR20020073685A true KR20020073685A (en) 2002-09-28
KR100371191B1 KR100371191B1 (en) 2003-02-06

Family

ID=27697513

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2001-0013426A KR100371191B1 (en) 2001-03-15 2001-03-15 Audition control method for portable wireless terminal equipment

Country Status (1)

Country Link
KR (1) KR100371191B1 (en)

Also Published As

Publication number Publication date
KR100371191B1 (en) 2003-02-06

Similar Documents

Publication Publication Date Title
KR100335613B1 (en) Apparatus and method for transmission of a sound
JP4531042B2 (en) Wireless hands-free system with silent user signaling
EP1246432B1 (en) Mobile phone featuring audio-modulated vibrotactile module
EP1385324A1 (en) A system and method for reducing the effect of background noise
JPH09168046A (en) Transmitter, telephone set and audio input compensation method for telephone set using it
US8159517B2 (en) Method and device for setting output volume of audio signal to prevent acoustic shock in mobile terminal
EP1168783A2 (en) Portable device and method of providing user with information on operation of portable device
KR101600429B1 (en) An Auxiliary Aid Device for Adaptation of Environmental Circumstance and A method for Linking An Auxiliary Aid Device to A multimedia Device
KR100371191B1 (en) Audition control method for portable wireless terminal equipment
JP2002051108A (en) Telephone and method of controller for incoming ring tone
JP2003060737A (en) Portable electronic equipment and control program thereof
JP2005175746A (en) Portable communication terminal device
JP4487993B2 (en) Vehicle hands-free system
JP2007135155A (en) Telephone set with hearing assistance function
JP2003163716A (en) Communication device
KR101114123B1 (en) Mobile communication terminal with audio input equipment
KR100606747B1 (en) Mobile terminal and method for conversation using thereof
KR100496974B1 (en) Method for controlling outside speaker of mobile phone
JP4437463B2 (en) Intercom system for karaoke facilities
JP2005086361A (en) Portable terminal
JP2003032325A (en) Mobile electronic device and control program thereof
JP2000224655A (en) Incoming reporting device
JPH07248789A (en) Terminal loudspeaking device with alarm sound sending function
JPH11163976A (en) Portable radio terminal equipment
JPH07183938A (en) Signal switching device

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121227

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20131224

Year of fee payment: 12

LAPS Lapse due to unpaid annual fee