JP7450899B2 - Electronic information systems and their programs - Google Patents
Electronic information systems and their programs Download PDFInfo
- Publication number
- JP7450899B2 JP7450899B2 JP2023001492A JP2023001492A JP7450899B2 JP 7450899 B2 JP7450899 B2 JP 7450899B2 JP 2023001492 A JP2023001492 A JP 2023001492A JP 2023001492 A JP2023001492 A JP 2023001492A JP 7450899 B2 JP7450899 B2 JP 7450899B2
- Authority
- JP
- Japan
- Prior art keywords
- gesture
- sound
- user
- sensor
- gestures
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 claims description 152
- 230000001678 irradiating effect Effects 0.000 claims 1
- 238000000034 method Methods 0.000 description 82
- 230000008569 process Effects 0.000 description 79
- 230000033001 locomotion Effects 0.000 description 56
- 238000012545 processing Methods 0.000 description 50
- 230000001681 protective effect Effects 0.000 description 26
- 238000013459 approach Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 230000004044 response Effects 0.000 description 16
- 230000008859 change Effects 0.000 description 15
- 238000006243 chemical reaction Methods 0.000 description 13
- 230000007704 transition Effects 0.000 description 6
- 230000000903 blocking effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000010408 film Substances 0.000 description 4
- 230000007257 malfunction Effects 0.000 description 4
- 239000011295 pitch Substances 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000004904 shortening Methods 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 238000007740 vapor deposition Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- 208000033748 Device issues Diseases 0.000 description 1
- 239000004698 Polyethylene Substances 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 229910052804 chromium Inorganic materials 0.000 description 1
- 239000011651 chromium Substances 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010137 moulding (plastic) Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 229920003023 plastic Polymers 0.000 description 1
- -1 polyethylene Polymers 0.000 description 1
- 229920000573 polyethylene Polymers 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 229920003051 synthetic elastomer Polymers 0.000 description 1
- 239000005061 synthetic rubber Substances 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
Images
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は、電子情報システム及びそのプログラムに関するものである。 The present invention relates to an electronic information system and its program.
従来から電子情報システムとして例えば、自動車や自転車のような車両に搭載するナビゲーション装置や自動車に搭載するマイクロ波受信器(レーダー探知機)のような運転に関する情報を取得できる電子機器類がある。また、日常使用する様々な情報を取得することができる電子情報システムとして例えばスマートフォンやパソコンのような電子機器類がある。
これらの電子情報システムにおいてユーザーは情報を取得するために機器に付属する入力スイッチを押動して入力したり、また操作手段を実際に手で触って操作したりする等して情報の取得をするようにしている。このような従来の入力手段や操作手段を備えた電子情報システムとして特許文献1及び2を挙げる。
特許文献1の電子機器は自動車の車内のフロントガラスに両面テープ等で取り付けられるドライブレコーダ装置である。ドライブレコーダ装置はその図3に示すように、スイッチ部20、表示部21、ボリュームダイヤル23を備えている。
また、特許文献2の電子機器は自動車にデフォルトで配設されているルームミラーに取り付けるルームミラーを兼ねたマイクロ波検出装置である。この装置はミラー面を兼ねるタッチスクリーン16にタッチして入力動作をすることでミラー面の一部にある表示パネル13に様々な情報を表示させるというものである。
2. Description of the Related Art Conventionally, electronic information systems include electronic devices capable of acquiring driving-related information, such as navigation devices installed in vehicles such as cars and bicycles, and microwave receivers (radar detectors) installed in cars. Furthermore, electronic devices such as smartphones and personal computers are examples of electronic information systems that can acquire a variety of information used on a daily basis.
In these electronic information systems, users obtain information by pressing input switches attached to devices to input information, or by actually touching and operating operating means. I try to do that.
The electronic device disclosed in
Further, the electronic device of Patent Document 2 is a microwave detection device that also serves as a rearview mirror that is attached to a rearview mirror that is installed by default in a car. This device displays various information on a
しかし、特許文献1のドライブレコーダ装置では例えば操作手段としてのボリュームダイヤル23を別部品として筐体に取り付けることとなるため、ボリュームダイヤル23と関連する部品の重量が加わって装置として重量が増してしまう。重量化はこのような粘着方式でフロントガラスに取り付けるような場合では好ましくない。また、部品の点数が増えることになって高コスト化を招来することにもなる。一方、特許文献2のマイクロ波検出装置ではミラー面を兼ねるタッチスクリーン16が操作手段となるため操作に関する部品が少なくなり軽量化が図られているものの、実際にミラー面にタッチしなければ入力はできないわけであり、タッチすることによってミラー面が汚れるおそれがある。
このようなことから、電子情報システムにおいて情報の取得をするための操作部材が不要かあるいは削減できるとともに、直接機器に接触しなくとも情報の取得が可能な手段が求められていた。そこで、ユーザーのジェスチャーを認識し、その認識結果に基づいて所定の処理を行う機器がある。しかしながら、このような機器では、例えば、ユーザーは、ジェスチャーの認識の成否を示す報知がなされた時点やそのジェスチャーに対応した所定の処理が開始されたことが機器から報知された時点で初めて、自己のジェスチャーが正しかったことを把握できるのであって、ジェスチャーをしている間には自己のジェスチャー動作が、機器の認識可能な正しいものであるかを判断することが困難であるという問題があった。例えば、機器の認識不能なジェスチャーの状態であるにもかかわらず、ユーザーは、機器が認識可能なジェスチャーの状態であると考えて、何度も同じジェスチャーを繰り返して試みるケースがあった。例えば、ジェスチャーの状態として、ジェスチャーの動作としては機器が認識可能な動作であるが、機器が認識不能な位置にユーザーの手等の認識対象物がある状態であるため、認識できないケースなどで顕著な問題があった。
本発明は上記問題を解消するためになされたものであり、その目的は、直接機器に接触しなくとも従来よりも確実に所望の機能を機器に実現させることが可能な電子情報システム及びそのプログラムを提供することにある。
However, in the drive recorder device of
For these reasons, there has been a need for a means that can eliminate or reduce the need for operating members for acquiring information in electronic information systems, and that can also acquire information without directly touching equipment. Therefore, there is a device that recognizes a user's gesture and performs predetermined processing based on the recognition result. However, with such devices, for example, the user is not able to recognize himself until the device notifies him of the success or failure of gesture recognition or the start of a predetermined process corresponding to the gesture. However, while the user is gesturing, it is difficult to determine whether the gesture is correct and can be recognized by the device. . For example, there have been cases where the user repeatedly attempts the same gesture, thinking that the gesture is recognizable by the device, even though the gesture is unrecognizable by the device. For example, the gesture state is an action that the device can recognize, but it is noticeable in cases where the device cannot recognize the object because the object to be recognized, such as the user's hand, is in a position that the device cannot recognize. There was a problem.
The present invention has been made in order to solve the above problems, and its purpose is to provide an electronic information system and its program that can make a device realize a desired function more reliably than before without directly contacting the device. Our goal is to provide the following.
上記目的を達成するために、手段1としてユーザーによるジェスチャーの認識結果に基づいて所定の処理を行う電子情報システムにおいて、ジェスチャーの認識中に音を出力する制御を行う制御手段を備えるようにすることがよい。
このような構成であれば、ユーザーはジェスチャーの認識中であることを音によって知ることができる。従って、従来よりも確実に所望の処理を機器に実行させることができる。よって従来よりも確実に所望の機能を機器に実現させることができる。更には、例えば、ジェスチャーの認識中でない場合には、ジェスチャーの認識中とは異なる音を出力する構成、または、音を出力しない構成の少なくともいずれか一方を備えるとよい。このようにすれば、ユーザーはジェスチャーの認識中であるか否かを音によって知ることができる。また、ジェスチャーの認識中に音が出力されることとなるため、この音を出力させるようにジェスチャーをすることでジェスチャーのトレーニングも可能となる。更には、ジェスチャーの認識が成功したか否かを示す音を出力し、ジェスチャーの認識が成功したか否かを示す音と前記ジェスチャーの認識中に出力する音とは異なる音とするとよい。このようにすれば、ユーザーは、ジェスチャーの認識中であるか否か、ジェスチャーの認識が成功したか否かを、より確実に知ることができる。したがって、ユーザーはジェスチャーの認識中であるか否かをより確実に音によって知ることができ、ジェスチャー認識中を示す音を出力させるようにジェスチャーをして、その結果、ジェスチャー成功を示す音を出力させるように練習するなど、ユーザーが確実に所望の機能を実現できるようにジェスチャーのトレーニングをすることも可能となる。
In order to achieve the above object, as means 1, an electronic information system that performs predetermined processing based on the recognition result of a gesture by a user is provided with a control means that controls the output of a sound during recognition of a gesture. Good.
With this configuration, the user can be informed by sound that the gesture is being recognized. Therefore, it is possible to cause the device to execute desired processing more reliably than in the past. Therefore, it is possible to make the device realize the desired function more reliably than in the past. Furthermore, for example, when a gesture is not being recognized, at least one of a configuration that outputs a different sound from that during gesture recognition or a configuration that does not output the sound may be provided. In this way, the user can know from the sound whether or not the gesture is being recognized. Also, since a sound is output during gesture recognition, gesture training can be performed by gesturing to output this sound. Furthermore, it is preferable that a sound indicating whether or not the gesture recognition is successful is output, and the sound indicating whether or not the gesture recognition is successful is different from the sound output during the recognition of the gesture. In this way, the user can more reliably know whether or not the gesture is being recognized and whether or not the gesture recognition has been successful. Therefore, the user can more reliably know from the sound whether or not the gesture is being recognized, and can make a gesture to output a sound indicating that the gesture is being recognized, and as a result, a sound indicating that the gesture is successful is output. It is also possible to conduct gesture training to ensure that the user can achieve the desired function, such as by practicing gestures.
ここに「ジェスチャーの認識結果に基づいて所定の処理を行う」としては、例えば、ジェスチャーが認識された後にそのジェスチャーの態様に応じた所定の処理を行う構成とするとよく、例えば所定の処理があるジェスチャーを入力情報として実現される構成とするとよい。ここに「所定の処理」としては、例えば、ジェスチャーを認識した結果として行われる電子情報システムからの情報の提供を行う構成とするとよい。より具体的な所定の処理としては例えば、聴覚的な処理として、例えば音を発生させること、音量を変更すること等とするとよい。音としては、例えば、音階のあるなしを問わず、例えば警報音や「注意して下さい」というような音声ガイダンスによる情報の発信や音楽等を含む構成とするとよい。また、例えば視覚的な処理として表示画面に情報を表示させること、表示させた情報を消すこと、表示させた情報を変更させること等とするとよい。また、ジェスチャーの認識結果がなんらかのアクチュエータを駆動させて機械的あるいは油空圧的な制御をする構成とするとよい。例えば、ロック装置を解除あるいは施錠したり、扉を開閉すること等とするとよい。複数の異なるジェスチャーを認識し、認識したジェスチャーによって異なる機能を実現する構成とするとよい。例えば、複数の異なるジェスチャーを認識し、認識したジェスチャーによって異なる処理を行う構成とするとよい。特に、複数の異なるジェスチャーを認識する機能を備え、認識したジェスチャーによって異なる処理を行う構成において、異なるジェスチャーの認識中には、異なる音を出力する構成とするとよい。このようにすれば、どの処理が実行される可能性があるのかをジェスチャーの認識中にユーザーが理解できる。特に、異なるジェスチャーの認識中に異なる音を出力する構成としては異なるジェスチャーの過程において異なる音を出力する構成とするとよい。このようにすれば、ユーザーはジェスチャーに認識が完了するまでの過程において、ジェスチャーが正しく認識中であるか否かを判断することができる。したがって、誤ったジェスチャーの過程として認識されている場合に、途中でジェスチャーをやめるなどでして、意図しないジェスチャーとして認識された結果、意図しない処理が実行され、意図しない機能が実現されることを、ジェスチャー中に防止することができる。
「ジェスチャー認識中」としては、例えば、ジェスチャー認識中の一部としてもよいが、ジェスチャー認識中の大部分とするとよく、ジェスチャー認識中の全体とするとよい。特に「ジェスチャー認識中」としては、ジェスチャー認識処理においてジェスチャーの認識を行えている間とするとよい。また特に、ジェスチャー認識処理においてジェスチャーの認識を行えている間は、連続的に音を出力するとよい。特に、認識中に音を変える構成においても音を変える際などに音は途切れないように連続的に出力をするとよい。
このようにすれば、ジェスチャー認識中の音がし始めたらジェスチャーの認識が行え始めたことがわかり、ジェスチャー認識中の音が途切れたらジェスチャーの認識が途切れたことが分かる。したがって、さらにユーザーが確実に所望の機能を実現できるようになり、ジェスチャーのトレーニングもさらに容易になる。
「電子情報システム」としては、例えば車両に搭載したり、ユーザーが携帯したり、室内に設置したりしてユーザーがアクセスして情報の取得をすることができるシステムとするとよい。車両に搭載する電子情報システムとしては、例えばナビゲーション装置、レーダー探知装置、ドライブレコーダーのような電子機器とするとよい。ユーザーが携帯したり、室内に設置する電子情報システムとしては、例えば、スマートフォン、パソコン、TV装置、AV装置等とするとよい。
Here, "performing a predetermined process based on the recognition result of a gesture" may mean, for example, a configuration in which a predetermined process is performed according to the mode of the gesture after the gesture is recognized, such as a predetermined process. It is preferable to adopt a configuration in which gestures are realized as input information. Here, the "predetermined process" may be, for example, a configuration in which information is provided from the electronic information system as a result of recognizing a gesture. More specific predetermined processing may include, for example, auditory processing such as generating a sound or changing the volume. The sound may include, for example, an alarm sound, information transmission by voice guidance such as "Please be careful", music, etc., regardless of whether there is a scale or not. Further, for example, visual processing may include displaying information on a display screen, erasing displayed information, changing displayed information, etc. Further, it is preferable that the gesture recognition result drives some kind of actuator to perform mechanical or hydraulic/pneumatic control. For example, it may be possible to release or lock a lock device, open/close a door, etc. It may be configured to recognize a plurality of different gestures and realize different functions depending on the recognized gestures. For example, it may be configured to recognize a plurality of different gestures and perform different processing depending on the recognized gesture. In particular, in a configuration that has a function of recognizing a plurality of different gestures and performs different processing depending on the recognized gesture, it is preferable to output different sounds during recognition of different gestures. In this way, the user can understand what processing may be performed during recognition of the gesture. In particular, as a configuration for outputting different sounds during recognition of different gestures, a configuration for outputting different sounds during the process of different gestures is preferable. In this way, the user can determine whether or not the gesture is being recognized correctly during the process until the recognition of the gesture is completed. Therefore, if the gesture is recognized as an incorrect gesture, if you stop the gesture midway through, the gesture will be recognized as an unintended gesture, and as a result, an unintended process will be executed and an unintended function will be realized. , can be prevented during gestures.
"During gesture recognition" may be, for example, a part of gesture recognition, a large part of gesture recognition, or the entire gesture recognition. In particular, "during gesture recognition" may be defined as a period during which gesture recognition can be performed in gesture recognition processing. In particular, it is preferable to continuously output sound while the gesture is being recognized in the gesture recognition process. In particular, even in a configuration where the sound is changed during recognition, it is preferable to output the sound continuously so that there is no interruption when changing the sound.
In this way, when the sound during gesture recognition starts, it is known that gesture recognition has started, and when the sound during gesture recognition stops, it is known that gesture recognition has stopped. Therefore, the user can more reliably achieve the desired function, and gesture training becomes easier.
The "electronic information system" may be, for example, a system that is mounted on a vehicle, carried by a user, or installed indoors so that the user can access and obtain information. The electronic information system mounted on the vehicle may be, for example, an electronic device such as a navigation device, a radar detection device, or a drive recorder. The electronic information system carried by the user or installed indoors may be, for example, a smartphone, a personal computer, a TV device, an AV device, or the like.
また、手段2として、前記制御手段はジェスチャーの認識中に異なるタイミングで音を出力することがよい。
このように一回だけではなく複数回の音を異なるタイミングで出力することでジェスチャーの認識中であることをより確実に把握することができる。特に、「異なるタイミング」としては、ジェスチャーの認識過程を示すタイミングとするとよい。このようにすれば、ユーザーは、異なる音が出力されたか否かからジェスチャーの認識過程を把握することができる。また、例えば、「異なるタイミング」としては、認識対象の物体の位置の変化が検出されたタイミングとするとよい。このようにすれば、ユーザーは物体の位置が適切な位置へ動いているかを音によって容易に把握できる。また、異なるタイミングで出力する音は、例えば、所定の処理に応じた異なる音のパターンを創出する構成とするとよい。このようにすれば、ユーザーはその音パターンから所定の処理の内容を容易に理解し確認することができる。また、ユーザーが所定の処理の内容を実際に認識していなかったとしても様々な音のパターンが所定の処理との関係で出力されていることを理解することができ、実際に操作手段にタッチする場合に比べて従来にない操作上の興趣を感じることができる。
また、手段3として、前記異なるタイミングで出力する音は異なる種類の音を含むことがよい。
このように複数の異なるタイミングで出力される音として異なる種類の音を出力することで音パターンにバリエーションができ、ユーザーの音パターンの認識力が向上する。「異なる種類の音」としては例えば音のトーン(高低)が異なったり、音質(音色)が異なったり、異なる種類の音を混ぜたりするものとするとよい。同じトーンでも音質を変えることで種類の異なる音として認識することができる。また、上記と同様にユーザーが実際に音との関係で所定の処理の内容を認識していなかったとしても種類の異なる音が所定の処理との関係で出力されていることを理解することができ、実際に操作手段にタッチする場合に比べて従来にない操作上の興趣を感じることができる。
また、手段4として、前記異なるタイミングで出力する音はジェスチャーを認識するジェスチャー検出手段に対する接近距離の違いに応じた異なる種類の音を含むことがよい。
このように接近距離の違いに応じて異なる種類の音を発生させることで、ユーザーはジェスチャー検出手段への接近度合いを音によって認識することができる。また、ユーザーが実際に音と接近度合いの関係を認識していなかったとしてもジェスチャーに伴って種類の異なる音が出力されていることで、実際に操作手段にタッチする場合に比べて従来にない操作上の興趣を感じることができる。「ジェスチャー検出手段」としていくつかの方式による検出デバイスがある。例えば、ジェスチャーセンサは、赤外線発光素子からの赤外光を対象物に当ててその反射光の変化を受光素子で捉えて対象物の動きを検出するようなジェスチャーセンサを備えた検出デバイス、赤外線の代わりに超音波を利用したジェスチャーセンサを備えた検出デバイス、ジェスチャによる静電容量の変化を利用したジェスチャーセンサを備えた検出デバイス等を使用することができる。接近距離は認識対象物とジェスチャー検出手段の検出デバイスとの距離とするとよい。認識対象物は、種々の物とすることができ例えば棒のようなものとすることもできるが、人体の一部とするとよい。特に手とするとよい。
Further, as means 2, it is preferable that the control means outputs sounds at different timings during gesture recognition.
In this way, by outputting the sound not only once but multiple times at different timings, it is possible to more reliably understand that a gesture is being recognized. In particular, the "different timing" may be a timing that indicates the gesture recognition process. In this way, the user can understand the gesture recognition process from whether different sounds are output. Further, for example, the "different timing" may be the timing at which a change in the position of the object to be recognized is detected. In this way, the user can easily understand from the sound whether the object is moving to an appropriate position. Furthermore, the sounds to be output at different timings may be configured to create different sound patterns according to predetermined processing, for example. In this way, the user can easily understand and confirm the content of the predetermined process from the sound pattern. In addition, even if the user does not actually recognize the content of the predetermined process, the user can understand that various sound patterns are output in relation to the predetermined process, and can actually touch the operation means. Users can experience an unprecedented level of operational interest compared to the case where
Moreover, as means 3, it is preferable that the sounds output at the different timings include different types of sounds.
In this way, by outputting different types of sounds as sounds that are output at a plurality of different timings, variations in sound patterns can be created, and the user's ability to recognize sound patterns can be improved. The "different types of sounds" may include, for example, different tones (high and low), different sound qualities (timbres), or a mixture of different types of sounds. Even the same tone can be recognized as different types of sounds by changing the sound quality. Also, as above, even if the user does not actually recognize the content of the predetermined processing in relation to the sound, it is possible for the user to understand that different types of sounds are being output in relation to the predetermined processing. This allows users to experience an unprecedented level of operational interest compared to when they actually touch the operating means.
Furthermore, as means 4, the sounds output at different timings may include different types of sounds depending on the difference in approach distance to the gesture detection means for recognizing gestures.
By generating different types of sounds depending on the approach distance in this way, the user can recognize the degree of approach to the gesture detection means based on the sound. In addition, even if the user does not actually recognize the relationship between sound and the degree of proximity, different types of sounds are output along with the gesture, which is unprecedented compared to when the user actually touches the operation means. You can feel the excitement of the operation. There are detection devices using several methods as "gesture detection means". For example, a gesture sensor is a detection device equipped with a gesture sensor that detects the movement of an object by shining infrared light from an infrared light emitting element onto an object and capturing changes in the reflected light with a light receiving element. Instead, a detection device equipped with a gesture sensor that uses ultrasonic waves, a detection device equipped with a gesture sensor that utilizes changes in capacitance due to gestures, etc. can be used. The approach distance may be the distance between the recognition target and the detection device of the gesture detection means. The recognition target object can be various objects, such as a stick, but preferably a part of the human body. Especially good for hands.
また、手段5として、前記制御手段は一定時間以上停止するジェスチャーに基づいて前記音を出力させるようにすることがよい。
このような停止させるというジェスチャーはユーザーにとっては非常にわかりやすいジェスチャーであり容易に習得できるものであるため、ユーザーに行わせるジェスチャ-としてよい。音を出力するための条件となる停止させる一定時間はユーザーにとって停止したと理解できるような長さであって、例えば数秒程度であることがよい。例えば、設定の変更でこの長さを変更させるようにするとよい。また、停止位置はジェスチャー検出手段が検出さえできればある程度の幅をもった領域のどこかでこの動作を検出させればよい。
例えば、ジェスチャー検出手段に対して近くても遠くても構わない。また、ジェスチャー検出手段までの接近距離の違いによらず同じ所定の処理を行うようにしてもよいが、ジェスチャー検出手段までの接近距離の違いで異なる所定の処理を行うようにするとよい。異なる所定の処理を行う場合には処理の違いに応じた異なる音を出力することがよい。このようにすれば、ユーザーは、認識中の停止位置がどのジェスチャーに対応し、どの処理が実行される見込かをジェスチャー認識中に容易に把握できる。従って、認識中のジェスチャーがユーザーの意図と異なるものとして認識された結果、ユーザーの意図しない処理が実行されることを効果的に防止できる。さらには、ユーザーがどの位置で停止させればどのジェスチャーとして認識され、どの処理が実施されるのかが容易に理解できる。
また、手段6として、前記制御手段は移動の後に一定時間以上停止するジェスチャーに基づいて前記音を出力させるようにすることがよい。
このような移動の後に一定時間以上停止させるというジェスチャーもユーザーにとっては非常にわかりやすいジェスチャーであり容易に習得できるものであるため、ユーザーに行わせるジェスチャーとしてよい。具体的には、例えばジェスチャー検出手段の前方を横切らせるような移動をさせ、検出可能な位置で停止させるようなジェスチャーをさせるとよい。
Further, as means 5, it is preferable that the control means outputs the sound based on a gesture that stops for a certain period of time or more.
Such a gesture of stopping is a gesture that is very easy for the user to understand and can be easily learned, so it may be a gesture that the user is asked to perform. The predetermined period of time for stopping, which is a condition for outputting sound, is a length that allows the user to understand that the sound has stopped, and is preferably about several seconds, for example. For example, this length may be changed by changing the settings. Further, as long as the gesture detection means can detect the stop position, the motion may be detected somewhere within a certain width area.
For example, it may be close or far from the gesture detection means. The same predetermined process may be performed regardless of the approach distance to the gesture detection means, but it is preferable to perform different predetermined processes depending on the approach distance to the gesture detection means. When performing different predetermined processes, it is preferable to output different sounds according to the different processes. In this way, the user can easily understand which gesture the stop position being recognized corresponds to and which process is expected to be executed during gesture recognition. Therefore, it is possible to effectively prevent processing that is not intended by the user from being performed as a result of the gesture being recognized being recognized as being different from the user's intention. Furthermore, it is easy to understand at what position the user should stop the gesture, which gesture will be recognized, and what processing will be performed.
Further, as means 6, it is preferable that the control means outputs the sound based on a gesture of stopping for a certain period of time or more after movement.
Such a gesture of stopping for a certain period of time after movement is also a gesture that is very easy for the user to understand and can be learned easily, so it may be a gesture that the user is asked to perform. Specifically, for example, it is preferable to make a gesture such as moving the gesture detecting means across the front and stopping at a position where the gesture detection means can be detected.
また、手段7として、ジェスチャーのパターンと出力する音とを関連づけすることがよい。
これによってユーザーはあるジェスチャーを実行して出力される音のあるパターンを聴くことで所定の処理の内容を理解することができる。また、ユーザーが所定の処理の内容を実際に認識していなかったとしても様々な音のパターンが所定の処理との関係で出力されていることを理解することができる。また、実際に操作手段にタッチする場合に比べて従来にない操作上の興趣を感じることができる。ここに「音」としては、例えばある音階の音の一回のみの出力や複数回数の出力によるメロディーとして出力したり、同じ音階やメロディーを音質のみ異なるパターンで出力したりすることがよい。このようにすれば、ユーザーは、どのジェスチャーのパターンがどの音に対応し、その音に基づいてどの処理が実行される見込かをジェスチャー認識中に容易に把握できる。従って、認識中のジェスチャーがユーザーの意図と異なるものとして認識された結果、ユーザーの意図しない処理が実行されることを効果的に防止できる。
また、手段8として、ジェスチャーのパターンにかかわらず、ジェスチャーの認識中は、検出している距離に応じて複数の同じ音を出力することがよい。
これによって、ユーザーはある距離で、例えば停止させるジェスチャーを実行した際に停止していることを同じ音の繰り返しで認識することができ、例えば手が震えていたり振動で手がきちんと停止させられないような場合に客観的に「停止」したかどうかを認識することが可能となる。
また、手段9として、前記ジェスチャーの認識後に実行する所定の処理の違いに応じて、ジェスチャーの認識後に、異なる所定の処理ごとに異なる種類の音を出力することがよい。
これによってユーザーはあるジェスチャーを実行する結果として出力されるそれぞれ異なる音を聴くことで実行される所定の処理の内容を理解することができる。また、ユーザーが所定の処理の内容を実際に認識していなかったとしても様々な音が所定の処理との関係で出力されていることを理解することができる。また、実際に操作手段にタッチする場合に比べて従来にない操作上の興趣を感じることができる。ここに「音」としては、例えばある音階の音の一回のみの出力や複数回数の出力によるメロディーとして出力したり、同じ音階やメロディーを音質のみ異なるパターンで出力したりすることがよい
Further, as means 7, it is preferable to associate the gesture pattern with the sound to be output.
This allows the user to understand the content of a predetermined process by performing a certain gesture and listening to a certain pattern of sounds output. Furthermore, even if the user does not actually recognize the content of the predetermined process, the user can understand that various sound patterns are output in relation to the predetermined process. Moreover, compared to the case where the user actually touches the operating means, the user can experience an unprecedented level of interest in the operation. Here, the "sound" may be outputted as a melody by outputting a tone of a certain scale only once or multiple times, or outputting the same scale or melody in patterns that differ only in sound quality. In this way, the user can easily understand which gesture pattern corresponds to which sound and which process is expected to be executed based on the sound during gesture recognition. Therefore, it is possible to effectively prevent processing that is not intended by the user from being performed as a result of the gesture being recognized being recognized as being different from the user's intention.
Moreover, as means 8, it is preferable to output a plurality of the same sounds depending on the detected distance during recognition of the gesture, regardless of the pattern of the gesture.
This allows the user to recognize that the user is stopping at a certain distance, for example by repeating the same sound when performing a gesture to stop, for example if the hand is shaking or the hand is not able to stop properly due to vibrations. In such cases, it becomes possible to objectively recognize whether or not the system has "stopped."
Further, as the means 9, it is preferable that, after recognition of the gesture, different types of sounds are output for each different predetermined process, depending on the difference in the predetermined process to be executed after the recognition of the gesture.
This allows the user to understand the content of a predetermined process to be executed by listening to the different sounds output as a result of executing a certain gesture. Further, even if the user does not actually recognize the content of the predetermined process, the user can understand that various sounds are output in relation to the predetermined process. Moreover, compared to the case where the user actually touches the operating means, the user can experience an unprecedented level of interest in the operation. Here, the "sound" may be, for example, outputting a certain scale's sound only once or multiple times as a melody, or outputting the same scale or melody in patterns that differ only in sound quality.
また、手段10として、前記制御手段は遠方から接近させるジェスチャー時に距離に応じた音を発生させるようにすることがよい。
また、手段11として、前記制御手段は遠方へ離間させるジェスチャー時に距離に応じた音を発生させるようにすることがよい。
これらのように遠方から接近させるジェスチャー時あるいは遠方へ離間させるジェスチャー時に接近距離の違いに応じた音を発生させることで、ユーザーはそのようなジェスチャーによって実行される所定の処理をジェスチャーに伴う音によって認識することができる。
例えば、下方遠方からの接近の場合にはある音パターンを出力するとともに機器の出力する音量を大きくし、下方遠方への離間の場合にはそれとは異なるある音パターンを出力するとともに音量を小さくするごとくである。
ここに接近距離の違いに応じた音は1つであっても複数であってもよい。また、異なる種類の音を含んでいてもよい。複数の音であればより音のパターンが増えることとなってユーザーは音から所定の処理の内容を理解し確認することが容易となる。ジェスチャーとして遠方から接近させそのまま遠方へ離間させる一連のジェスチャーでもよい。
Further, as the
Further, as the
By generating sounds according to the difference in approach distance when making gestures such as these that approach from a distance or move away from a distance, users can understand the predetermined processing performed by such gestures by the sounds accompanying the gestures. can be recognized.
For example, if the device is approaching from far away, a certain sound pattern will be output and the volume output by the device will be increased; if the device is moving away from it, a different sound pattern will be output and the volume will be reduced. That's it.
Here, there may be one or more sounds depending on the difference in approach distance. Further, different types of sounds may be included. If there are multiple sounds, the number of sound patterns increases, making it easier for the user to understand and confirm the content of a predetermined process from the sounds. The gesture may be a series of gestures in which the object is approached from a distance and then moved away from the object.
また、手段12として、前記制御手段は遠方から接近させるジェスチャー時にその接近方向に応じた音を発生させるようにすることがよい。
また、手段13として、前記制御手段は遠方へ離間させるジェスチャー時にその離間方向に応じた音を発生させるようにすることがよい。
これらのように遠方から接近させるジェスチャー時あるいは遠方へ離間させるジェスチャー時にその接近方向の違いに応じた音を発生させることで、ユーザーはそのようなジェスチャーによって実行される所定の処理をジェスチャーに伴う音との関係によって認識することができる。例えば、下方遠方からの接近の場合にはある音パターンを出力するとともに音量を大きくし、上方遠方からの接近の場合にはそれとは異なるある音パターンを出力するとともに音量を小さくするごとくである。あるいは、下方遠方への離間の場合にはある音パターンを出力するとともに表示画面の光量を大きくし、上方遠方への離間の場合にはそれとは異なるある音パターンを出力するとともに表示画面の光量を小さくするごとくである。つまり、ジェスチャーの違いによってそれぞれ独自の音で異なる処理がされることとなって、ユーザーは音を聞いて音に応じた処理が行われたことを認識できることとなる。また、ユーザーが実際に音との関係で所定の処理の内容を認識していなかったとしても様々な音が所定の処理との関係で出力されていると理解することができ方向によって音が異なることもあって実際に操作手段にタッチする場合に比べて従来にない操作上の興趣を感じることができる。接近距離の違いに応じた音は上記と同様に1つであっても複数であってもよい。また、異なる種類の音を含んでいてもよい。
Further, as the
Further, as the
By generating sounds according to the difference in the approach direction when making a gesture to approach from a distance or a gesture to move away from a distance, the user can understand the predetermined process performed by such a gesture by listening to the sound accompanying the gesture. can be recognized by its relationship with For example, when approaching from a distance below, a certain sound pattern is output and the volume is increased, and when an approach is from above and from a distance, a different sound pattern is output and the volume is decreased. Alternatively, in the case of moving downward and far away, a certain sound pattern is output and the light intensity of the display screen is increased, and in the case of moving upward and far away, a different sound pattern is outputted and the light intensity of the display screen is increased. It's like making it smaller. In other words, different gestures result in different processing being performed with each unique sound, and the user can hear the sound and recognize that the processing corresponding to the sound has been performed. Furthermore, even if the user does not actually recognize the content of the predetermined processing in relation to the sound, it can be understood that various sounds are output in relation to the predetermined processing, and the sound differs depending on the direction. For this reason, the user can experience an unprecedented level of interest in the operation compared to actually touching the operating means. The number of sounds depending on the difference in approach distance may be one or multiple as described above. Further, different types of sounds may be included.
また、手段14として、ユーザーによるジェスチャーが検出可能であり、かつ音を出力する制御が行われる第1の空間領域を有することがよい。
このような空間領域内を有するようにすることで、例えばユーザーが電子情報システムに関する機器を設置する際にこの空間領域内にジェスチャーの妨げになるような部材やユーザーのジェスチャーの動きと間違えて認識してしまうような物体が存在してしまうことを予防できる。第1の空間領域は一般にはジェスチャー検出手段が検出できる領域として認識される。第1の空間領域への接近はジェスチャー検出手段から均等な距離にある立体的な空間とすることがよい。
また、手段15として、前記第1の空間領域の検出可能距離は変更可能であることがよい。
このような構成とすることで、例えばジェスチャーの妨げになるような部材やユーザーのジェスチャーの動きと間違えて認識してしまうような物体が存在してしまうような状況を考慮して第1の空間領域を狭くしたり、逆にユーザーがジェスチャーの際に例え機器から離れていてもなるべく検出されやすいように第1の空間領域を広くしたりと状況に応じた設定が可能となる。
また、手段16として、前記制御手段は所定の情報モードにおいて前記第1の空間領域を相対的に広い空間領域まで拡張し、前記所定の情報モード以外の場合には前記第1の空間領域を相対的に狭い空間領域に縮小するように制御することがよい。
このような構成とすることで、所定の情報モードに応じた対応をしようとする際のユーザーのジェスチャーのしやすさに貢献する。所定の情報モードとしては、例えば、所定の情報モード以外の場合よりも、緊急性が高い操作を行うモードを備えるとよい。例えば、所定の情報モードとして「自動車運転中に警報を報知している状態」があるとする。具体的には例えば電子機器としてレーダー探知装置からなんらかの道路交通情報(例えばNシステム等)を検出した旨の警報が報知された場合等である。この場合にユーザーはこの報知を認識した後では引き続き報知される警報はすでに不要であるとして警報の報知状態をキャンセルしたいと考えることがある。つまり、必要な情報ではあるもののユーザーが認知したためそれ以上の情報提供動作は過剰であって必要ではないからである。この場合に運転中であることからできる限りキャンセルのためのジェスチャーは簡素で大げさにならない方がよい。そのため通常は不用意に手をかざすこと等の動作がジェスチャーと認識されないように第1の空間領域を相対的に狭い空間領域に設定していても、警報の報知にともなって第1の空間領域を相対的に広い空間領域にすることでユーザーはそれほど遠くまで手を伸ばさなくともジェスチャーを行うことができるようになるわけである。
Further, it is preferable that the
By having such a spatial area, for example, when a user installs equipment related to an electronic information system, there is no possibility that the user's gesture movement will be mistakenly recognized as a member that obstructs the gesture or a movement of the user's gesture. It is possible to prevent the presence of objects that would cause damage. The first spatial region is generally recognized as a region that can be detected by gesture detection means. It is preferable that the first spatial region be approached in a three-dimensional space at an equal distance from the gesture detection means.
Further, as the means 15, it is preferable that the detectable distance of the first spatial region is changeable.
With this configuration, the first space can be adjusted in consideration of situations where, for example, there are parts that interfere with gestures or objects that may be mistakenly recognized as the user's gesture movements. It is possible to make settings according to the situation, such as narrowing the area or widening the first spatial area so that the user can easily be detected when making a gesture, even if the user is far away from the device.
Further, as means 16, the control means expands the first spatial area to a relatively wide spatial area in a predetermined information mode, and expands the first spatial area to a relatively wide spatial area in a case other than the predetermined information mode. It is preferable to control the area so that it is reduced to a narrow spatial area.
This configuration contributes to making it easier for the user to make gestures when attempting to respond in accordance with a predetermined information mode. As the predetermined information mode, for example, a mode in which an operation is performed with higher urgency than in cases other than the predetermined information mode may be provided. For example, assume that the predetermined information mode is "a state in which a warning is issued while driving a vehicle." Specifically, for example, there is a case where an alarm is issued from a radar detection device as an electronic device indicating that some kind of road traffic information (for example, N system, etc.) has been detected. In this case, after the user recognizes this notification, the user may decide that the subsequent warning is no longer necessary and would like to cancel the notification state of the alarm. In other words, although the information is necessary, since the user has recognized it, further information provision operations are excessive and unnecessary. In this case, since you are driving, it is best to keep the cancellation gesture as simple and unexaggerated as possible. Therefore, even if the first spatial area is normally set to a relatively narrow spatial area so that an action such as carelessly holding up a hand is not recognized as a gesture, the first spatial area may By making the area a relatively large spatial area, the user can perform gestures without having to reach very far.
また、手段17として、ユーザーによるジェスチャーの移動方向が検出可能であり、かつ音を出力する制御が行われる第2の空間領域を有することがよい。
このような空間領域内を有するようにすることで、例えばユーザーのジェスチャーをする手がどの方向から来てどの方向に向かうのかを認識できることとなるため、その方向に応じて異なる所定の処理を選択することが可能となる。そして、ユーザーは方向に応じた音との関係で所定の処理を認識することが可能となる。また、ユーザーが実際に異なる音との関係で所定の処理の内容を認識していなかったとしても様々な音が所定の処理との関係で出力されていると理解することができ、実際に操作手段にタッチする場合に比べて従来にない操作上の興趣を感じることができる。例えば、下方遠方から上方に向かって移動する場合にはある音パターンを出力するとともに音量を大きくし、上方遠方から下方に向かって移動するにはそれとは異なるある音パターンを出力するとともに音量を小さくするごとくである。
第2の空間領域に対する移動方向は平面的な360度方向だけではなく立体的な方向を加味してもよい。これによって移動方向のバリエーションが増すこととなる。
また、手段18として、前記第2の空間領域の検出可能距離は変更可能であることがよい。
このような構成とすることで、例えばユーザーはジェスチャーの妨げになるような部材やユーザーのジェスチャーの動きと間違えて認識してしまうような物体が存在してしまうような状況を考慮して第2の空間領域を狭くしたり、逆にジェスチャーの際に例え機器から離れていてもなるべく検出されやすいように第2の空間領域を広くしたりとユーザーは状況に応じた設定が可能となるため、ユーザーは所定の処理を実行させるために最適なジェスチャー環境を設定することが可能となる。
また、手段19として、前記第2の空間領域は前記第1の空間領域の内側にあることがよい。
これによってジェスチャーを行った場合に、順序としてまず第1の空間領域でジェスチャーが認識され、更に、ジェスチャーが第2の空間領域に進入した場合にどちらから接近したかが判断されることとなる。このように空間領域が別個にあるのではなく重なっているためユーザーがジェスチャーをする空間領域が不必要に広がることがなく、ジェスチャーをする領域のコンパクト化に貢献する。また、第2の空間領域が逆に第1の空間領域の外側にあると第1の空間領域に進入する際には必ず接近の方向性のある第2の空間領域に進入しなければならず、ユーザーが予定しない所定の処理モードとなってしまう可能性も
Further, it is preferable that the
By having such a spatial area, it is possible to recognize, for example, which direction the user's hand is coming from when making a gesture, and which direction it is heading, so different predetermined processing can be selected depending on the direction. It becomes possible to do so. Then, the user can recognize the predetermined process in relation to the sound depending on the direction. Furthermore, even if the user does not actually recognize the contents of a given process in relation to different sounds, he or she can understand that various sounds are output in relation to the given processing, and can actually operate the sound. Compared to the case of touching the means, the user can feel an unprecedented sense of operational interest. For example, when moving upward from a far downward position, a certain sound pattern is output and the volume is increased; when moving from a far upward position towards the downward direction, a different sound pattern is output and the volume is decreased. It's amazing.
The direction of movement with respect to the second spatial region may include not only a planar 360-degree direction but also a three-dimensional direction. This increases the variation in movement directions.
Further, as the
By adopting such a configuration, the user can take into consideration the situation where there is a member that obstructs the gesture or an object that may be mistakenly recognized as the movement of the user's gesture. The user can make settings according to the situation, such as narrowing the second spatial area or widening the second spatial area so that gestures can be detected as easily as possible even if the user is far away from the device. The user can set the optimal gesture environment to execute a predetermined process.
Furthermore, as the
As a result, when a gesture is performed, the gesture is first recognized in the first spatial area, and further, when the gesture enters the second spatial area, it is determined from which direction the gesture is approached. In this way, since the spatial regions are not separate but overlap, the spatial region in which the user makes gestures does not expand unnecessarily, contributing to making the region in which gestures are made more compact. Additionally, if the second spatial area is outside the first spatial area, when entering the first spatial area, one must always enter a second spatial area that has a directionality of approach. , there is a possibility that the user may end up in a predetermined processing mode that was not planned.
また、手段20として、前記所定の処理として設定されている音量を変更させることがよい。
これは具体的な所定の処理の一例を示したものである。つまり、ジェスチャーの認識中に音を出力する制御を行うとともに、そのジェスチャーが認識されることで音量を変更させるわけである。これによって、ユーザーは音量を調節するためのボリュームを探してそれを操作して音量を変更するというような面倒さがなくなる。
より具体的な制御を例示すれば、ある方向からある方向へ移動するジェスチャー(例えばジェスチャー検出手段に対して下方向から上方向へ手をかざすように。手でなくとも動きが認識できる物体をユーザーがかざすようにしてもよい)によって音量を一定量アップさせ、また、ある方向からある方向へ移動するジェスチャー(例えば上方向から下方向へ手をかざすように)によって音量を一定量ダウンさせるごときである。
また、特殊なジェスチャーによって音量を一定量ではないように変更をさせるようにしてもよい。例えば、かざす手等のある方向からある方向への移動のスピードを変更することで変更する音量を多くしたり、移動の途中で一旦停止させてその間継続的に音量を変更させるようにすることである。
Further, as the
This is an example of a specific predetermined process. In other words, it controls the output of sound while recognizing a gesture, and changes the volume when the gesture is recognized. This eliminates the hassle of users having to search for a volume to adjust the volume and manipulate it to change the volume.
To give a more specific example of control, a gesture that moves from a certain direction to a certain direction (for example, holding a hand from below to above over a gesture detection means.The user can detect an object whose movement can be recognized even if it is not a hand). The volume can be increased by a certain amount by a gesture of moving from one direction to another (for example, by waving a hand from upward to downward). be.
Further, the volume may be changed so as not to be constant by using a special gesture. For example, by changing the speed at which the hand is moved from one direction to another, the volume can be increased, or by stopping mid-movement and continuously changing the volume. be.
また、手段21として、前記所定の処理として現在報知されている情報の報知を抑制させることがよい。
これも具体的な所定の処理の一例を示したものである。つまり、ジェスチャーの認識中に音を出力する制御を行うとともに、そのジェスチャーが認識されることで現在報知されている警報情報の報知を抑制するわけである。これによって、ユーザーは必要でない情報の報知を簡単な動作でキャンセル等させることができる。ここに「警報情報の報知」とは例えば警報音や警報の音声ガイダンスや表示画面へのその旨の表示等である。「報知を抑制させる」とは音声的な報知であれば音量を絞ったり無音にすることであり、視覚的な報知であれば輝度を絞ったり表示画面を消したりすることである。
例えば自動車運転中の警報を一例として説明する。例えば電子機器としてレーダー探知装置からなんらかの道路交通情報(例えばNシステム等)を検出した旨の警報が報知された場合にユーザーはこの報知を認識した後では引き続き報知される警報はすでに不要であるとして警報の報知状態をキャンセルしたいと考えることがある。つまり、必要な情報ではあるがユーザーが認知したためそれ以上の情報は過剰であって不要であるからである。この場合に警報音を抑制させる意義がある。
より具体的な制御を例示すれば、ユーザーは検出可能な位置(例えば、上記第1の空間領域)で手をかざす(上記のように手でなくともよい)とともにその位置で所定の時間停止をさせるようなジェスチャーをする。このジェスチャーを認識することで現在報知されている警報音を停止させるごときである。この際に、例えばユーザーが設定した検出可能な領域が狭い場合に一時的に広い領域となるように制御して検出しやすいようにしてもよい。状況に応じてすばやく操作するために範囲の広い領域にすることがよいからである。
Further, it is preferable that the
This also shows an example of a specific predetermined process. In other words, it performs control to output a sound while the gesture is being recognized, and also suppresses the notification of the alarm information that is currently being notified when the gesture is recognized. This allows the user to cancel the notification of unnecessary information with a simple action. Here, "notification of alarm information" includes, for example, an alarm sound, an alarm audio guidance, and a display to that effect on a display screen. "Suppressing the notification" means reducing the volume or making the notification silent if it is an audio notification, or reducing the brightness or turning off the display screen if it is a visual notification.
For example, a warning while driving a car will be explained as an example. For example, when a radar detection device as an electronic device issues a warning indicating that some kind of road traffic information (for example, N system, etc.) has been detected, the user may decide that the subsequent warning is no longer necessary after recognizing this notification. You may want to cancel the alarm notification status. In other words, although the information is necessary, since the user has recognized it, any further information is excessive and unnecessary. In this case, it is meaningful to suppress the alarm sound.
To give an example of more specific control, the user holds up his/her hand at a detectable position (for example, the above-mentioned first spatial region) (it does not have to be the hand as mentioned above) and stops at that position for a predetermined period of time. Make a gesture to encourage them. Recognizing this gesture will cause the current warning sound to stop. At this time, for example, if the detectable area set by the user is narrow, the area may be temporarily expanded to make detection easier. This is because it is better to have a wide area so that operations can be performed quickly depending on the situation.
また、手段22として、前記所定の処理として表示画面に情報を表示させることがよい。
これも具体的な所定の処理の一例を示したものである。つまり、ジェスチャーの認識中に音を出力する制御を行うとともに、そのジェスチャーが認識されることで表示画面に情報を表示させるわけである。これによって、ユーザーは表示画面に情報を表示させる操作手段を探し、それを操作して音量を変更するというような面倒さがなくなる。
また、手段23として、前記所定の処理として表示画面に表示させた情報を変更させることがよい。
これも具体的な所定の処理の一例を示したものである。つまり、ジェスチャーの認識中に音を出力する制御を行うとともに、そのジェスチャーが認識されることで表示画面に表示させた情報を変更させるわけである。これによって、ユーザーは表示画面の情報を変更させるための操作手段を探し、それを操作して音量を変更するというような面倒さがなくなる。
Further, the means 22 may preferably display information on a display screen as the predetermined process.
This also shows an example of a specific predetermined process. In other words, it controls the output of a sound while recognizing a gesture, and displays information on the display screen when the gesture is recognized. This saves the user the trouble of searching for an operating means to display information on the display screen and operating it to change the volume.
Further, as the
This also shows an example of a specific predetermined process. In other words, it controls the output of a sound while recognizing a gesture, and changes the information displayed on the display screen when the gesture is recognized. This saves the user the trouble of searching for an operating means to change information on the display screen and operating it to change the volume.
また、手段24として、前記制御手段は表示画面に出発点となる第1の表示モードを表示させ、所定のジェスチャーの認識結果に基づいて他の表示モードに変更させた後、所定のジェスチャーの認識結果に基づいて再び前記第1の表示モードを表示させるように制御することがよい。
これは、ジェスチャーを次々と行った結果として初期画面となる第1の表示モードに戻すようにする制御を示している。このような構成であればユーザーはジェスチャーによって変更可能な表示モードの出現順位を第1の表示モードの出現順位に基づいて容易に理解することができる。第1の表示モードとして多くの設定画面を有している場合に有利である。
また、手段25として、車両搭載用の電子機器はルームミラーを兼ねており、ユーザーによるジェスチャーは前記ルームミラーの前面で行われることがよい。
ルームミラーに車両搭載用の電子機器を搭載することで車両内の省スペース化に貢献し、ルームミラーにタッチせずに所定の処理を行うための操作が可能であるからである。また、ルームミラーは運転者であるユーザーの近傍にあるためルームミラーとして使用可能であるとともに、その前面でジェスチャーをすることが容易となり、電子機器を狭い車内のユーザーの近傍に配置する必要もなくなる。ルームミラーは自動車にデフォルトで配設されているルームミラーをそのまま電子機器化してもよく、外付けのルームミラーとしてもよい。
Further, as means 24, the control means causes the display screen to display a first display mode serving as a starting point, changes to another display mode based on the recognition result of a predetermined gesture, and then performs recognition of the predetermined gesture. It is preferable to perform control to display the first display mode again based on the result.
This shows control to return to the first display mode, which is the initial screen, as a result of performing gestures one after another. With this configuration, the user can easily understand the order of appearance of the display modes that can be changed by gestures based on the order of appearance of the first display mode. This is advantageous when the first display mode has many setting screens.
Further, as the
This is because mounting vehicle-mounted electronic equipment on the rearview mirror contributes to space saving within the vehicle, and allows operations to perform predetermined processing without touching the rearview mirror. In addition, since the rearview mirror is located near the user, who is the driver, it can be used as a rearview mirror, and it is also easier to make gestures in front of it, eliminating the need to place electronic devices near the user in a small car interior. . The rearview mirror that is installed by default in a car may be converted into an electronic device, or it may be an external rearview mirror.
また、手段26としてジェスチャー検出手段を備える筐体にジェスチャー時の認識対象物の前記筐体への衝突を軽減する衝突軽減手段を備えるとよい。
このようにすれば、ジェスチャー時に認識対象物が筐体に衝突することを軽減することができる。衝突軽減手段としては、例えば、衝突を防止するための手段である衝突防止手段、または、衝突した際に認識対象物が筐体に衝突した際の衝撃を吸収するための手段である衝撃吸収手段の少なくともいずれか一方を備える構成とするとよい。
例えば、ジェスチャーを認識するジェスチャー検出手段を備える筐体の稜角部あるいは出隅部の少なくとも一部を面取り状に形成することがよい。
このように、外側に出っ張っている稜角部や出隅部を面取り状に形成することでジェスチャーをする物体、例えばユーザーの手先が誤って筐体に当たっても手先側は痛くなく筐体側もダメージを受けにくくなる。面取り状に形成する場合にはなるべく不連続な部分のない曲面とすることがよい。これと併せて(あるいは単独で)緩衝効果のある素材(例えば弾性のある合成ゴム等)で筐体の周囲を包囲するようにしてもよい。特に、例えば手段1等の構成と手段28の構成とを備える構成とすれば、音によりジェスチャー認識中であることを知ることができるとともに、ジェスチャー認識中に認識対象物が筐体に衝突することを軽減することができる。例えば、ジェスチャー認識中に音がすることで、ジェスチャー検出部を備える筐体を見ずにジェスチャーをしやすくなる可能性があり、そのとき筐体に認識対象物等をぶつけてしまう可能性があるが、このようにすればこうしたおそれを低減することができる。
また、手段27として、ジェスチャーを認識するジェスチャー検出手段を備える筐体のジェスチャー検出方向の少なくとも一部について保護部材を除去した箇所を設けることがよい。
保護部材としては例えば透明な例えばポリエチレン等から構成されるプラスチック製の薄膜がよいが、このような保護部材があると機器を傷つけないために使用に際してもユーザーはしばしば剥がさずに使用することがある。ところが、経年使用することで保護部材の機器側に対する密着性が低下して部分的に剥がれることがある。その際にジェスチャー検出手段の検出範囲内にその剥がれた保護部材が揺れてあたかもジェスチャーと間違えるような動作をする可能性がある。これは誤動作の原因となる可能性がある。そのため、出荷時に例えば前もって保護部材の剥がれそうな部分を除去したり、剥がれるとジェスチャー検出手段の検出範囲内に進入するおそれのある部分を除去したりすることで、剥がれた保護部材がユーザーのジェスチャーの邪魔になることがなくなるとともに、ユーザーが剥がれた部分を取り除いたりする面倒さもなくなる。また、保護部材としては、ジェスチャー検出手段を有する筐体の運搬時の保護部材とするとよい。特に、電子情報システムにはユーザーによって使用時に注視される部材を設け、保護部材は当該使用時に注視される部材の保護部材とするとよい。例えば、使用時に注視される部材としては、例えばミラーとしたり、表示部としたりするとよい。このように使用時に注視される部材は特に運搬時に保護する必要性が高いためである。
また、保護部材は、ジェスチャー検出手段のジェスチャー検出方向と表示部とにわたって設け、ジェスチャー検出方向の少なくとも一部について保護部材を除去した箇所を設けるとよい。また、保護部材の中心ではなく端部寄りにジェスチャー検出手段のジェスチャー検出方向がある構成においてジェスチャー検出方向の少なくとも一部について保護部材を除去した箇所を設けるとよい。保護部材の端部寄りの側は保護部材が特に剥がれやすく、剥がれた保護部材がユーザーのジェスチャーの邪魔になる可能性が高いためである。
Further, as the means 26, it is preferable that the casing including the gesture detection means includes a collision reducing means for reducing the collision of the recognition target with the casing during the gesture.
In this way, it is possible to reduce the collision of the recognition target object with the housing during the gesture. Collision mitigation means include, for example, a collision prevention means that is a means for preventing a collision, or a shock absorption means that is a means for absorbing the impact when a recognition target collides with the casing in the event of a collision. It is preferable to adopt a configuration including at least one of the following.
For example, it is preferable that at least a part of the ridge corner or the protruding corner of the casing provided with the gesture detection means for recognizing gestures is formed into a chamfered shape.
In this way, by forming the ridges and protruding corners that protrude outward into chamfered shapes, even if an object used for gesturing, such as a user's hand, accidentally hits the housing, the hand side will not be hurt and the housing will also be damaged. It becomes difficult. When forming a chamfered surface, it is preferable to form a curved surface with as few discontinuous parts as possible. In addition to this (or alone), the periphery of the casing may be surrounded with a material having a cushioning effect (for example, elastic synthetic rubber). In particular, if the configuration includes, for example, the configuration of the
Further, as the
For example, a transparent plastic thin film made of polyethylene or the like is preferable as a protective member, but users often do not remove it when using such a protective member to prevent damage to the equipment. . However, over time, the adhesion of the protective member to the device side may deteriorate and parts of the protective member may peel off. At that time, there is a possibility that the peeled-off protective member shakes within the detection range of the gesture detection means and moves as if it were mistaken for a gesture. This may cause malfunction. Therefore, at the time of shipment, for example, by removing parts of the protective member that are likely to peel off, or removing parts that may come within the detection range of the gesture detection means if peeled off, the peeled protective member can be removed from the user's gestures. This eliminates the need for the user to remove the peeled parts. Further, the protective member may be a protective member during transportation of the casing having the gesture detection means. In particular, it is preferable that the electronic information system is provided with a member that is watched by the user during use, and the protective member is a protection member for the member that is watched when the user uses the electronic information system. For example, the member to be watched during use may be a mirror or a display section. This is because members that are watched closely during use are particularly required to be protected during transportation.
Further, the protective member is preferably provided across the gesture detection direction of the gesture detection means and the display section, and a portion where the protective member is removed is preferably provided in at least a portion of the gesture detection direction. Further, in a configuration in which the gesture detection direction of the gesture detection means is located near the edge of the protection member rather than the center, it is preferable to provide a portion where the protection member is removed for at least a portion of the gesture detection direction. This is because the protective member is particularly likely to peel off on the side near the end of the protective member, and there is a high possibility that the peeled off protective member will interfere with the user's gestures.
また、手段28として、ジェスチャーを認識するジェスチャー検出手段を備える筐体の少なくとも一部について外部から前記ジェスチャー検出手段を視認しにくくする遮蔽手段を備えることがよい。
筐体内に収納されているジェスチャー検出手段は外部から容易に目視されないことがデザイン的によい。しかし、ジェスチャー検出手段は検出動作をするために筐体内において窓状に開口した開口部を有することがあるため、外部から筐体内部のジェスチャー検出手段が目視されてしまう可能性がある。そのため、筐体にジェスチャー検出手段を視認しにくくするための遮蔽手段を設けることでユーザーはジェスチャー検出手段を目視できなくなり筐体デザインに好印象を感ずることとなる。遮蔽手段はジェスチャー検出手段の検出を妨げないことが必要であって、例えばジェスチャー検出手段が赤外線のような光学的な手段で検出している場合には赤外線は検出可能に透過させ可視光は例えば反射あるいは吸収させることで透過させないような特性を有する透過体を配置することがよい。特に、例えば、手段1等の構成と手段28の構成を備える構成とすると、ジェスチャー認識中に音がなるため、ジェスチャー認識手段を従来よりもユーザが発見しやすくなる可能性や、音がするたびに筐体を見てしまう可能性があり、ジェスチャー認識手段を目障りに感じる可能性が高まるが、このようにすればその可能性を低減できる。
また、手段29として、ジェスチャーを認識するジェスチャー検出手段と、ジェスチャー検出手段のジェスチャー検出方向に存在する物体までの距離を所定値以下にするための距離短縮手段を筐体内に備えることがよい。
例えば、筐体内のジェスチャー検出手段のジェスチャー検出方向には筐体の壁面やガラス面が物体として存在する。ジェスチャー検出手段からは例えば赤外線や超音波のような検出媒体が出力されるが、物体までの距離が遠いことで検出に支障をきたす可能性がある。そのため、距離短縮手段を備えることでそのような不具合が防止できる。
Further, as the
In terms of design, it is preferable that the gesture detection means housed within the housing is not easily visible from the outside. However, since the gesture detection means may have a window-like opening in the housing for performing a detection operation, there is a possibility that the gesture detection means inside the housing may be visually observed from the outside. Therefore, by providing the housing with a shielding means to make it difficult to visually recognize the gesture detection means, the user will not be able to visually see the gesture detection means and will have a good impression of the housing design. It is necessary that the shielding means does not interfere with the detection by the gesture detection means. For example, when the gesture detection means detects by optical means such as infrared rays, infrared rays are transmitted so as to be detectable, and visible light is transmitted, for example. It is preferable to arrange a transmitting body that has a characteristic of reflecting or absorbing light but not transmitting it. In particular, for example, if the configuration includes the configuration of the
Furthermore, as the means 29, it is preferable to provide within the housing a gesture detection means for recognizing gestures and a distance shortening means for reducing the distance to an object existing in the gesture detection direction of the gesture detection means to a predetermined value or less.
For example, a wall surface or a glass surface of the housing exists as an object in the gesture detection direction of the gesture detection means inside the housing. Although the gesture detection means outputs a detection medium such as infrared rays or ultrasonic waves, the distance to the object may be long, which may hinder detection. Therefore, such problems can be prevented by providing a distance shortening means.
また、手段30として、ジェスチャーを認識するジェスチャー検出手段の検出領域内にジェスチャー検出の妨げとなる遮蔽物が存在する場合に、前記ジェスチャー検出手段は前記遮蔽物を検出せずに、あるいは検出データを使用せずにユーザーによるジェスチャーを検出することがよい。
これによって遮蔽物の動作がユーザーの能動的なジェスチャーと間違えられてしまうことがなくなり、ユーザーは遮蔽物を配置する場合でも操作上のストレスを感じることなくジェスチャーによる操作が可能となる。
例えば、車両用のシステムとして車両のフロントガラス近傍のルームミラーに電子情報システムを配設した場合において、ユーザーが同じくフロントガラス近傍の遮蔽物として例えばサンバイザーを操作する場合にこのサンバイザーをジェスチャー検出手段の検出領域内に入るように操作しても、ユーザーはジェスチャーをすることが可能となる。
また、手段31として、ジェスチャーを認識するジェスチャー検出手段は遮蔽物が検出領域内に所定時間停止して存在することに基づいて前記遮蔽物を検出せず、あるいは検出データを使用せずにユーザーによるジェスチャーを検出することがよい。
これは具体的な遮蔽物が存在する場合のジェスチャーの検出方法であって、検出領域内に所定時間停止して存在することで所定の処理を行うためのジェスチャーではないと判断する条件としたものである。ユーザーは遮蔽物を所定時間停止させるように配置するだけでよいため操作上のストレスを感じることなくジェスチャーによる操作が可能となる。特に車両においては、走行中に安全を確保するため、車内の物は固定されるのが原則である。そのため、ジェスチャー認識領域に入る可能性のある物があった場合、その物は位置を変えた後固定される可能性が高い。例えば、ジェスチャー検出手段を備えたルームミラー型の機器とした場合、ルームミラーに隣接する車両のサンバイザーはその位置が調整可能であるが、調整後は固定される。このように車内においては仮に物が移動された場合であっても、ある位置で静止状態となるのが通常である。このような知見に基づき、特に車内に設置される機器においては本構成を備えることが望ましい。
また、手段32として、前記制御手段は遮蔽物がジェスチャー検出手段に所定距離よりも近づいて検出された場合にはジェスチャーを認識させないように制御することがよい。
このように、遮蔽物があることによってジェスチャー領域が確保できず、ジェスチャー自体が不能になる場合があるため、むしろジェスチャーを認識させないことで誤動作を防止することができる。またユーザーがジェスチャー入力ができない領域に遮蔽物を配置することでユーザーの意思で積極的にジェスチャー入力を停止することができる。
また、手段33として、電子情報システムは車両搭載用の電子機器であることがよい。 車両搭載用の電子機器は運転中に操作することが多いためジェスチャーによって音との関係で所定の処理を実行させることは有利だからである。
ユーザからの機器への操作入力手段としてジェスチャー検出手段以外の手段を備えないことがシンプルな操作の点からよい。
また、機器前面(特に表示手段を有するあるいはミラーを有するなどユーザが見る手段を有する機器の面)に、その面積を減少させ他の操作入力手段を備えないようにすることがよい。これによって操作入力以外の機能が発揮できることとなる。
また、手段34として、筐体上にジェスチャー検出手段が検出可能な複数の異なるジェスチャーの方向をユーザが認識可能な表示を行うことがよい。
これによってユーザーはジェスチャーの方向を容易に理解することができる。表示は例えば印刷で行ってもよくプラスチック成形の際に立体的に造形するようにしてもよい。
また、手段35として、電子情報システムにおける制御手段の機能をコンピュータに実現させるためのプログラムとすることがよい。
Further, as the
This prevents the movement of the shield from being mistaken for the user's active gestures, and allows the user to operate using gestures without feeling any operational stress even when placing the shield.
For example, if an electronic information system is installed in the rearview mirror near the windshield of the vehicle as a vehicle system, when the user operates the sun visor as a shield near the windshield, the sun visor is detected as a gesture. Even if the user operates to enter the detection area of the means, the user can make a gesture.
Further, as the
This is a method for detecting gestures when a specific obstructing object exists, and the condition is that the gesture is determined to not be a gesture for performing a specified process if it remains within the detection area for a specified period of time. It is. Since the user only needs to place the shield so that it stops for a predetermined period of time, the user can operate the system using gestures without feeling any operational stress. Particularly in vehicles, in principle, objects inside the vehicle are secured in order to ensure safety while driving. Therefore, if there is an object that may enter the gesture recognition area, there is a high possibility that the object will be fixed after changing its position. For example, in the case of a rear-view mirror-type device equipped with gesture detection means, the position of the vehicle's sun visor adjacent to the rear-view mirror can be adjusted, but is fixed after adjustment. As described above, even if objects are moved inside a car, they usually remain stationary at a certain position. Based on such knowledge, it is desirable to have this configuration, especially in equipment installed in a vehicle.
Further, as the
In this way, the gesture area cannot be secured due to the presence of a blocking object, and the gesture itself may become impossible. Therefore, malfunctions can be prevented by not allowing the gesture to be recognized. Additionally, by placing a shield in an area where the user cannot input gestures, the user can actively stop gesture input.
Further, as the
From the viewpoint of simple operation, it is preferable that no means other than gesture detection means be provided as means for inputting operations from the user to the device.
Further, it is preferable to reduce the area of the front surface of the device (particularly the surface of the device that has display means or a means for viewing by the user, such as a mirror) so that other operation input means are not provided. This allows functions other than operational input to be performed.
Further, as the means 34, it is preferable to display on the casing so that the user can recognize the directions of a plurality of different gestures that can be detected by the gesture detection means.
This allows the user to easily understand the direction of the gesture. The display may be performed, for example, by printing, or may be three-dimensionally shaped during plastic molding.
Further, the
本発明によれば、直接機器に接触しなくとも所定の処理の結果としての情報の取得をすることが可能となる。また、ジェスチャーには音を伴うため音によって所定の処理の内容を理解することもできることとなる。 According to the present invention, it is possible to obtain information as a result of predetermined processing without directly contacting the device. Furthermore, since gestures are accompanied by sounds, it is also possible to understand the content of a predetermined process through the sounds.
以下、本発明の電子情報システムを具体化した電子機器であるレーダー探知装置10の実施の形態を図面に基づいて説明する。
図1は本実施の形態の車両用のルームミラーを兼ねたレーダー探知装置10の斜視図である。このレーダー探知装置10では本体ケース11と本体ケース11の前面に取着されるフロントプレート12とから薄板状の直方体形状の筐体13が構成されている。筐体13の4つの稜角部13aは曲面状に(いわゆるアールを付けるように)面取りして構成され、フロントプレート12の出隅となる前方側角部周縁13bも全周に渡って面取りして構成されている。本体ケース11の背面には所定の間隔をおいて左右一対の固定用クランプ部14が形成されている。本体ケース11の下方位置には図示しない電源スイッチが配設されており、本体ケース11の側面位置にはmicroSDカードを挿入するためのスロット16が形成されている。図2に示すように、本体ケース11内には制御基板17が配設されている。制御基板17は本体ケース11の正面形状に略対応した横長の外形形状とされている。尚、本実施の形態では制御基板17は一枚で構成されているが、2枚以上で構成するようにしてもよい。
DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of a
FIG. 1 is a perspective view of a
図2及び図3に示すように、本体ケース11の凹部空間19内には報知手段としてのスピーカ装置20が配設されている。スピーカ装置20は制御基板17と接続されて後述する制御部35による制御によって所定の音(音声)が出力される。スピーカ装置20は本体ケース11に形成された収納スペース21内に嵌合され、その振動子の発振面20a(音が出力される面)が本体ケース11の背面方向を向くように取着されている。収納スペース21には下方に向かって伸びるホーン23が連結されており、ホーン23下端に形成された音出口25は前記電源スイッチに隣接した位置、つまり本体ケース11の中央下方位置に露出されている。ホーン23は通路内が完全に包囲された音伝達空間を創出している。そのため、本体ケース11方向に向かって出力された音(音声)は本体ケース11壁面に反射し、ホーン23内で増幅されて音出口25から外部に至ることとなる。レーダー探知装置10は車両にデフォルトで設置されているルームミラーに取り付けるため、音出口25が筐体13の下方位置となるためユーザーである運転者の耳に近く、かつ音が増幅されるためユーザーにとって非常に聞き取りやすくなっている。
図2に示すように、制御基板17上にはジェスチャー検出手段としてのジェスチャーセンサ27を搭載したセンサ基板28が図示しないBtoBコネクタを介して別体として接続されている。ジェスチャー検出手段としてのジェスチャーセンサ27はセンサー前面とフロントプレート12側のミラー部30背面との距離がごく近接した所定範囲内に収まるよう(本実施の形態では0.7mm以下)に制御基板17、BtoBコネクタ、センサ基板28及びジェスチャーセンサ27のトータルの厚みが考慮されている。
As shown in FIGS. 2 and 3, a
As shown in FIG. 2, a
フロントプレート12の前面にはミラー部30が配設されている。ミラー部30は透明なガラス製基板の表面に蒸着処理(本実施の形態ではクロム蒸着)によって反射膜を形成し、裏面に黒色の遮光印刷を形成することで構成されている。レーダー探知装置10は車両に備え付けのルームミラーに対して固定用クランプ部14によって取り付けられるが、その際にミラー部30に背景を移し込んで運転者が後方確認をすることが可能となる。フロントプレート12及びミラー部30の一部には第1の窓部31及び第2の窓部32がそれぞれ正面からの目視において向かって右方端寄りに隣接して形成されている。第1の窓部31は表示パネル18の外形形状に応じて長方形形状とされ、第2の窓部32はジェスチャーセンサ27の大きさに対応して第1の窓部31より小さく構成され隅丸長方形形状とされている。第1及び第2の窓部31、32は上記の遮光印刷が形成されずに基板の表面に反射膜のみが形成された領域である。そのため、第1及び第2の窓部31、32位置において光が筐体13内外に透過可能とされている。第1の窓部31に対面して表示パネル18が配置され、第2の窓部32に対面してジェスチャーセンサ27が配置されている。第2の窓部32はジェスチャーセンサ27から照射される赤外線が対象物に反射して戻ってくる際の投光及び受光の通路となる。尚、これらの窓部31、32の形状や位置は適宜変更可能である。
ミラー部30において第2の窓部32の周囲にはジェスチャー方向を示すとともにジェスチャーを行う位置をユーザーにアピールするためのマーク33が形成されている。マーク33は第2の窓部32を取り囲むように上下左右の四方に配置され、外側に凸となるように屈曲された山型の折れ線形状とされており、4つのマーク33は全体として縦長の菱形形状をイメージするような整然とした配置とされている。マーク33はミラー部30裏面の遮光印刷を一部中抜きして印刷することで印刷されていない透明な部分として(但し、表面の反射膜は被覆されている)を目視させたものである。ミラー部30の第2の窓部32付近ではフロントプレート12はミラー部30に対して若干の距離をおいて配置されるため、ミラー部30の前方からマーク33を目視するとマーク33の隙間から背後のフロントプレート12が距離をおいて目視されることとなってマーク33が立体感をもってユーザーに認識され、単なる印刷に比べて目立ちやすい。
A
In the
次に、図4のブロック図に基づいてレーダー探知装置10の本体11内部の電気的な構成を説明する。尚、本発明とは直接関係のない構成については省略するが、例えば従来と同様の構成を採るとよい。
制御手段としての制御部35はCPUとCPUに接続されたROM、RAM等のメモリ、各種周辺回路及びインタフェース等から構成されている。制御部35には前記表示パネル18、前記スピーカ装置20、前記ジェスチャーセンサ27、GPS受信器37、マイクロ波受信器38、無線受信器39、microSDカードリーダー40等がそれぞれ接続されている。
制御部35のROM内にはGPS受信器37によって受信されたGPS情報を処理するGPS情報処理プログラム、マイクロ波検出器38によって受信されたマイクロ波(レーダー波)を判断するマイクロ波判断プログラム、無線受信器39よって受信された無線波を判断する無線波判断プログラム、ジェスチャーセンサ27によって受動されたジェスチャーを判断するジェスチャー判断プログラム、ジェスチャーの検出結果(認識結果)に応じた音をスピーカ装置20から出力させるとともに、ジェスチャーの判断結果に応じた所定の処理モードに移行させるためのジェスチャーに基づく処理モード移行プログラム、所定の待ち受け画面をディスプレイ部17に表示させる待ち受け画面表示プログラム、OS(Operation System)等の各種プログラムが記憶されている。
Next, the electrical configuration inside the
The
The ROM of the
制御部35はレーダー探知装置10の基本機能となるGPS警報機能、レーダー波警報機能及び無線警報機能等の各機能を実行する。また、制御部35はジェスチャーセンサ27が対象物として認識するユーザーがかざす手や、あるいは手に持ったなんらかの物体等の対象物の検出範囲内におけるジェスチャーの検出(認識)に伴って音を出力する制御を行うとともに下記の処理を実行する。ジェスチャーとしては、本実施の形態ではジェスチャーセンサ27の前面を横切るように手や物体等を右から左に、あるい左から右に、あるいは下から上に、あるいは上から下に直線的に移動させたりするジェスチャーが認識される。また、ジェスチャーセンサ27の所定の検出範囲内(つまり所定の検出状態)で所定時間停止するというジェスチャーが認識される。
本実施の形態におけるジェスチャーセンサ27のジェスチャーの認識の結果として制御部35が制御する処理として、1)音量の変更、2)待ち受け画面の変更、3)設定画面の変更、4)待ち受け画面から設定画面への移行、5)設定画面から待ち受け画面への移行がそれぞれ実行されるようになっている。
The
Processes controlled by the
本実施の形態におけるジェスチャーセンサ27は公知のジェスチャセンサであって、物体の接近状態と移動状態という2つのジェスチャーを検出するものである(接近状態を検出するため近接センサを兼ねている)。具体的な構成としてジェスチャーセンサ27は赤外発光LEDと4つのフォトセンサを搭載し、赤外発光LEDから照射した光が対象物に当たって反射した光を各フォトセンサが検出し、光量の変化を各フォトセンサ毎に数値として取得し、それら数値をパラメータとして対象物までの距離や対象物の移動方向を所定の演算式に基づいて算出する。対象物までの距離については4つのフォトセンサの数値の総和として算出でき、対象物の移動方向は異なるタイミングで取得したフォトセンサの数値の差分を取得することで算出できる。ジェスチャーセンサ27の検出能力の及ぶ範囲において対象物までの距離や対象物の移動方向を求めることが可能であるが、ここではジェスチャーセンサ27を中心として以下のように所定の空間領域を設定し(実際にはセンサの数値で判断する)この領域を基準として音の出力制御と所定の処理を実行する。
The
図5に示すように、ジェスチャーセンサ27の存在する仮想平面pを基準としてジェスチャーセンサ27から等距離にあるz_th(_thは閾値を表現する)の座標を設定する。等距離とはジェスチャーセンサ27で検出した光量データ(検出値)が同等となると判断できる距離という意味である。このz_thは、本実施の形態においては音を出力させる際の基準となるものである。以下、z_thで包囲される半球状の空間領域を音出力基準領域Zとする。
また、音出力基準領域Z内において上下反転させた四角錐台で包囲される領域を求める。四角錐台で包囲される領域とは平面pから等距離となるz_th上に存在する上底の4つの角部からジェスチャーセンサ27近傍の平面pとの交点となる下底の4つの角部をそれぞれ結んだ4つの線分E1~E4によって包囲される領域である。各線分上における座標をそれぞれ(+x_th,+y_th)(+x_th,-y_th)(-x_th,+y_th)(-x_th,-y_th)とする。この、四角錐台の内側の空間で算出されたx方向及びy方向の座標に基づいて対象物の移動方向を検出する。これはジェスチャーセンサ27の位置を原点として対象物の原点の通過の判断と原点を通過する際の対象物の移動方向を算出しやすくするために設定した領域である。以下、この四角錐台で包囲される領域を移動方向判断領域Qとする。本実施の形態では筐体13の長手方向を持ってx軸方向とし、これと直交する方向を持ってy軸方向とする。
また、任意に設定した領域であるため、ジェスチャーセンサ27の検出能力内でz_thの距離は適宜変更可能とされている。本実施の形態ではz_thの距離は100mm、60mm、40mmに設定変更可能である。このz_thの距離の変更に伴ってその内側に存在する移動方向判断領域Qの大きさも変化する。また、移動方向判断領域Qのイメージする形状(つまり移動方向を判断して所定の処理と関連付けをする領域)は上記に限定されず変更可能である。例えば、移動方向判断領域Qを音出力基準領域Zと一致させるようにしてもよい。
As shown in FIG. 5, the coordinates of z_th (_th represents a threshold value) which is equidistant from the
Also, within the sound output reference area Z, an area surrounded by a truncated quadrangular pyramid which is vertically inverted is determined. The area surrounded by the truncated pyramid is defined as the four corners of the upper base that exist on z_th, which is equidistant from the plane p, and the four corners of the lower base that are the intersection with the plane p near the
Furthermore, since this is an arbitrarily set area, the distance z_th can be changed as appropriate within the detection capability of the
上記のような電気的構成において、以下に制御部35がジェスチャーセンサ27によって対象物を検出した結果に基づいて実行する具体的な処理の一例を説明する。
まず、ジェスチャーセンサ27の検出値に基づいて制御部35が実行する音の出力制御について具体的ないくつかのジェスチャー中における対象物との関係で説明する。ここでは、後述する「所定の処理」を確定しうるジェスチャーをメインとして一例として説明するものであるが、対象物の動きは単純ではないので、以下のジェスチャー以外もあり得る。
また、ユーザーの認識としては音出力基準領域Z内に対象物が進入する前から、ジェスチャーの認識があり、音出力基準領域Zから離脱した後もジェスチャーをしている認識がある場合があるが、音を出力するためのジェスチャーの認識ということでは音出力基準領域Z内に進入することが客観的なジェスチャーの開始と考えられる。同様に対象物が音出力基準領域Z内から離脱することがジェスチャーの終了と考えられる。また、ジェスチャーの認識に失敗した場合、(所定のジェスチャーと判定されなかった場合)には、音は鳴らさないため、音が鳴ったということは対象物の動きがジェスチャーとして認識されたということでもある。
In the electrical configuration as described above, an example of a specific process executed by the
First, the sound output control performed by the
In addition, the user may recognize the gesture before the object enters the sound output reference area Z, and may recognize that the gesture is being made even after the object leaves the sound output reference area Z. When it comes to recognizing a gesture for outputting a sound, entering the sound output reference area Z is considered to be the objective start of the gesture. Similarly, it is considered that the gesture ends when the object leaves the sound output reference area Z. Also, if the gesture recognition fails (if it is not determined to be a predetermined gesture), no sound is produced, so the fact that a sound is produced does not mean that the movement of the object has been recognized as a gesture. be.
(1)ジェスチャー中における対象物の第1の動き(その1)
これは、対象物が遠方からジェスチャーセンサ27方向に接近して音出力基準領域Z内に入った段階である。基本的に音の出力制御としては必ずこの課程が発生する。制御部35はジェスチャーセンサ27の検出値を読み取り、音出力基準領域Z内に対象物(図6では「手」)が存在する数値であると判断した場合(ある数値を閾値として、それを超えるあるいは下回る場合)、つまり図6のAで示す位置に存在するジェスチャーであると判断した場合には第一の音階(ここでは「レ」)の音をスピーカ装置20から出力させる。制御部35は所定のタイミング(本実施の形態では12ms毎)でジェスチャーセンサ27の検出値を読み取り、音出力基準領域Z内にあると判断する場合には途切れることなく「レ」の音の出力を継続させる。
一方、対象物が音出力基準領域Z内から移動方向判断領域Q方向に進入せずに音出力基準領域Zの外に離脱する場合にはジェスチャーの検出値に基づいて制御部35は音の出力を停止させる。つまり想定される場合として、例えば誤って対象物がジェスチャーセンサ27に近づいて一旦音出力基準領域Z内に進入したものの、反転して音出力基準領域Zの外に離脱してしまったような場合である。その場合には後述する「所定の処理」は選択されない。
(1) First movement of the object during gesture (Part 1)
This is a stage in which the object approaches the
On the other hand, when the object leaves the sound output reference area Z without entering the movement direction determination area Q direction from within the sound output reference area Z, the
(2)ジェスチャー中における対象物の第1の動き(その2)
ジェスチャーが更に進入してジェスチャーセンサ27の前面を通過している状態である。制御部35はジェスチャーセンサ27の検出値を読み取り、対象物が音出力基準領域Zを通過して移動方向判断領域Q内に存在する数値であると判断した場合(ある閾値を超えるあるいは下回る場合)、つまり図6のBで示す位置に存在するジェスチャーであると判断した場合には(1)とは異なる第二の音階(第二の音階は第一の音階よりも高いものとするとよく、ここでは「ファ♯」)の音をスピーカ装置20から出力させる。この判断タイミングで制御部35は「レ」の音を停止させる。このように音が連続的に変化したとユーザーが認識できる状態で音階を変えて出力する。
制御部35は所定のタイミング(本実施の形態では12ms毎)でジェスチャーセンサ27の検出値を読み取り、移動方向判断領域Q内にあると判断する場合には途切れることなく「ファ♯」の音の出力を継続させる。
ここで制御部35は、移動方向判断領域Q内にある対象物が「a.ジェスチャーセンサ27前面を横切って移動方向判断領域Qから離脱する場合」と「b.横切らずに移動方向判断領域Qから離脱する場合」で異なる音声制御を実行する。a.の場合には以下の(3)に移行する。一方、b.の場合、つまり想定される場合として、例えば誤って対象物がジェスチャーセンサ27に近づいてごく短い時間内に移動方向判断領域Qまで進入し反転して音出力基準領域Zを通ってその外に離脱していくような場合であって、この場合には上記(1)の判断が発生するので制御部35は「ファ♯」から「レ」の音に変更させることとなる。また、その場合には後述する「所定の処理」は選択されない。
(2) First movement of the object during gesture (Part 2)
This is a state where the gesture has further advanced and passed in front of the
The
Here, the
(3)ジェスチャー中における対象物の第1の動き(その3)
ジェスチャーセンサ27から徐々に離間しつつある状態である。制御部35はジェスチャーセンサ27の検出値を読み取り、上記a.の条件を満たしており、かつ音出力基準領域Z内に対象物が存在する数値であると判断した場合(ある数値を閾値として、それを超えるあるいは下回る場合)、つまり図6のCで示す位置に存在するジェスチャーであると判断した場合には(1)(2)とは異なる第三の音階((第三の音階は第二の音階よりも高いものとするとよく、ここでは「ラ」)の音をスピーカ装置20から出力させる。この判断タイミングで制御部35は「ファ♯」の音を停止させる。このように音が連続的に変化したとユーザーが認識できる状態で音階を変えて出力する。制御部35は所定のタイミング(本実施の形態では12ms毎)でジェスチャーセンサ27の検出値を読み取り、音出力基準領域Z内にあると判断する場合には途切れることなく「ラ」の音の出力を継続させる。
(3) First movement of the object during gesture (part 3)
It is in a state where it is gradually moving away from the
(4)ジェスチャー中における対象物の第1の動き(その4)
ジェスチャーセンサ27の前面を通過した後に音出力基準領域Zの外に出た状態である。制御部35はジェスチャーセンサ27の検出値を読み取り、上記a.の条件を満たしており、かつ音出力基準領域Zから対象物が離脱した数値であると判断した場合(ある数値を閾値として、それを超えるあるいは下回る場合)、つまり図6のDで示す位置に存在するジェスチャーであると判断した場合には(1)(2)(3)とは異なる第四の音階の音をスピーカ装置20から出力させる。ここで、出力される「第四の音階の音」は対象物の移動方向によって異なる。この音は認識完了の音であり、認識中に変化する音の間の度数よりも、この認識完了の音とその前の認識中の音との度数が大きく設定されている。また音の長さも認識中に発する音の長さよりも短い音の長さとなることが望ましい。これは上記(2)における移動方向判断領域Qでの移動方向によって決定されている。本実施の形態では対象物の移動方向として「下方から上方」「上方から下方」「左方から右方」「右方から左方」の4つの移動方向が用意され、それぞれに対して音と後述する「所定の処理」が関連付けられている。すなわち、第一のジェスチャーは方向別に異なるジェスチャーとして認識する。制御部35は移動方向判断領域Q内での移動が「下方から上方」であると判断した場合には認識中に出力する音のうち最も音程が高い音(つまり本実施の形態では上記の第三の音階の「ラ」)よりも高音域にある音であって「ピッ」という短い音である認識確定音(例えば起動処理確定音)として「ソ」を出力させる。同様に移動が「上方から下方」であると判断した場合には「ド」を出力させる。同様に移動が「左方から右方」であると判断した場合には「レ」を出力させる。この「レ」は上記の第一の音階の「レ」よりも1オクターブ高いこととなる。同様に移動が「右方から左方」」であると判断した場合には「ミ」を出力させる。これらの音は後述する制御部35が実行する「対象物の移動方向によって異なる処理」に対応するものである。そして、図6のDから離間すると(図上右方に移動すると)、制御部35は検出するジェスチャーセンサ27の検出値に基づき(つまりある数値を閾値として、それを超えるあるいは下回る場合)音の出力を停止させる。
(5)ジェスチャー中における対象物の第1の動き(その4のバリーション)
ジェスチャーセンサ27の前面を通過した後に音出力基準領域Zの外に出て、その近傍で停止している状態である。制御部35は所定のタイミング(本実施の形態では12ms毎)でジェスチャーセンサ27の検出値を読み取り、対象物が音出力基準領域Zから離脱し、かつ音出力基準領域Z付近に留まっている数値であると判断し、かつ所定時間(例えば0.3秒)以上経過した場合、つまり図6のDで示す位置に長く存在しているジェスチャーであると判断した場合には、所定のタイミングで断続的に4つの移動方向に応じた音、つまり上記認識確定音と同じ「ソ」「ド」「レ」「ミ」のいずれかを出力させる。この断続音は後述する制御部35が実行する「所定の処理」におけるいわゆる「長押しモード」に対応するものである。そして、図6のDから離間すると(4)と同様に、制御部35は検出するジェスチャーセンサ27の検出値に基づき(つまりある数値を閾値として、それを超えるあるいは下回る場合)音の出力を停止させる。
(4) First movement of object during gesture (Part 4)
This is a state in which the sound output reference area Z is outside the sound output reference area Z after passing in front of the
(5) The first movement of the object during the gesture (variation of Part 4)
After passing in front of the
上記の4つの移動方向に関して、対象物の移動方向が正確に水平あるいは垂直に移動するとは限らない。例えば斜め方向に対象物が移動した場合には水平あるいは垂直のどちらとも取れるケースが発生する。制御部35は得られた数値に基づいて水平成分と垂直成分を比較していずれか多い方を選択して移動が水平方向か垂直方向かを選択している。
尚、移動方向はこの音出力基準領域Zから対象物が離脱した段階(z_thの外に出ること)で確定する。つまり、上記(2)におけるa.の段階では所定の処理は選択されただけであって未だ確定している状態ではなく、それよりも後のタイミングでジェスチャーセンサ27の検出したある検出値に基づいて確定するものである。(3)の「ラ」の音の出力される位置での対象物の動きによっては所定の処理がキャンセルされたり変更される可能性がある。
Regarding the above four moving directions, the moving direction of the object does not necessarily move exactly horizontally or vertically. For example, when an object moves diagonally, there are cases where the object can be moved horizontally or vertically. The
Note that the direction of movement is determined at the stage when the object leaves this sound output reference area Z (goes out of z_th). In other words, a. in (2) above. At the stage , the predetermined process has only been selected and has not been finalized yet, and will be finalized based on a certain detection value detected by the
(6)ジェスチャー中における対象物の第2の動き
図7に示すように、制御部35はジェスチャーセンサ27の検出値を読み取り対象物が音出力基準領域Z(移動方向判断領域Qも含む)内に存在する数値であると判断し、かつ所定時間(例えば2秒)以上対象物が停止していると判断した場合には、上記のいずれの音とも異なる「カリッ」という音色の所定の音程の音を断続的にスピーカ装置20から出力させる。停止状態はジェスチャーセンサ27の検出値がまったく変動しないかある狭い数値範囲内でのみ変動することに基づいて判断される。
また、制御部35は所定のタイミング(本実施の形態では12ms毎)でジェスチャーセンサ27の検出値を読み取り、停止状態の対象物が動いた場合には音の出力を停止させる。停止状態の対象物が動いた後は対象物の位置に応じて上記(1)~(4)の条件に従って音声出力制御がなされる。
尚、この停止に基づく音声出力処理の前提として対象物が音出力基準領域Z内に進入することで上記(1)や(2)の条件に該当するのであれば、併せて(1)や(2)に応じた音声出力も実行される。
(6) Second movement of target object during gesture As shown in FIG. If it is determined that the value exists in Sound is output from the
Further, the
Furthermore, if the condition (1) or (2) above is met by the object entering the sound output reference area Z as a premise of the audio output processing based on this stop, then (1) or ( Audio output according to 2) is also performed.
上記のジェスチャーにおいて特定のジェスチャーが行われると、音とともに所定の処理が選択され、更にそれが確定することになる。次に、制御部35が実行するそれら所定の処理について実際のジェスチャー及びジェスチャーに伴って出力される音と連動させて説明する。尚、初期設定においては音出力基準領域Zのz_thの距離は10cmに設定されている。また、非常に素早く対象物が移動方向判断領域Q内を横切った場合にはジェスチャーセンサ27の検出値の差分を取得することができずエラーとなってしまう。つまり移動方向が不定となって、結果として所定の処理が決定できないこととなる。そのため、以下では対象物が適度な速度で移動することで移動方向が判別され、それに伴って所定の処理が確定していることを前提とする。
A.音量の変更について
(下方から上方へ)
図8に示すように、レーダー探知装置10のフロントプレート12前面の例えば7cmの距離を維持して対象物としての手をレーダー探知装置10の下方位置からジェスチャーセンサ27の前面を通過させてレーダー探知装置10の上方へ抜けた位置まで一回スライドさせるジェスチャーをする。このとき、制御部35は対象物がジェスチャーセンサ27の前面で下方から上方へ一回のスライドをするジェスチャーがあったと判断して音量を現状から1段階アップさせる。そして、このジェスチャーに連動して制御部35は「レ」→「ファ♯」→「ラ」→「ソ」の順にスピーカ装置20から音を出力させる(上記の一連のジェスチャー中における対象物の第1の動きに相当)。
一方、図9に示すように、手をレーダー探知装置10の下方位置からジェスチャーセンサ27の前面を通過させた後に筐体13の上縁付近で停止させる。この位置は音出力基準領域Zに近接した音出力基準領域Zの外側位置に当たる。図8では対象物は大きく音出力基準領域Zから離間してしまうが、図9では設定した音出力基準領域Zの外側ではあるが検出値としては音出力基準領域Z内に対象物が存在する場合との差はごく小さい。
制御部35は所定の停止時間(例えば0.3秒)以上のこの位置での停止状態を検出するといわゆる「長押し」モードと判断して制御部35は連続的に音量を現状からアップさせるように制御する。このとき、このジェスチャー(上記の「その4のバリーション」に相当)に連動して制御部35は「レ」→「ファ♯」→「ラ」→「ソ」の断続音、の順にスピーカ装置20から音を出力させる。制御部35は対象物が停止状態が解除された状態あるいは音量が最大になった状態(これ以上の変更が不能な状態)をもって処理を終了し、断続音も停止させる。
When a specific gesture is performed among the above gestures, a predetermined process is selected along with a sound, and the process is further confirmed. Next, the predetermined processes executed by the
A. About changing the volume (from bottom to top)
As shown in FIG. 8, radar detection is performed by maintaining a distance of, for example, 7 cm in front of the
On the other hand, as shown in FIG. 9, after passing the hand in front of the
When the
(上方から下方へ)
逆に、図10に示すように、手をレーダー探知装置10の上方位置からジェスチャーセンサ27の前面を通過させてレーダー探知装置10の下方へ抜けた位置まで一回スライドさせるジェスチャーをする。このとき、制御部35は対象物がジェスチャーセンサ27の前面で上方から下方へ一回のスライドをするジェスチャーがあったと判断して音量を現状から1段階ダウンさせる。このとき、このジェスチャーに連動して制御部35は「レ」→「ファ♯」→「ラ」→「ド」の順にスピーカ装置20から音を出力させる(上記の一連のジェスチャー中における対象物の第1の動きに相当)。
一方、図11に示すように、手をレーダー探知装置10の上位置からジェスチャーセンサ27の前面を通過させた後に筐体13の下縁付近で停止させる。この位置は音出力基準領域Zに隣接した音出力基準領域Zの外側位置に当たる。制御部35は所定の停止時間(例えば0.3秒)以上のこの位置での停止状態を検出するといわゆる「長押し」モードと判断して連続的に音量を現状からダウンさせるように制御する。このとき、このジェスチャー(上記の「その4のバリーション」に相当)に連動して制御部35は「レ」→「ファ♯」→「ラ」→「ド」の断続音、の順にスピーカ装置20から音を出力させる。制御部35は対象物が停止状態が解除された状態あるいは音量が最大になった状態(これ以上の変更が不能な状態)をもって処理を終了し、断続音も停止させる。
(from top to bottom)
Conversely, as shown in FIG. 10, the user performs a gesture of sliding the hand once from a position above the
On the other hand, as shown in FIG. 11, the hand is passed from above the
B.待ち受け画面の変更について
(左方から右方へ)
図12に示すように、レーダー探知装置10のフロントプレート12前面の例えば7cmの距離を維持して対象物としての手をレーダー探知装置10の左方位置からジェスチャーセンサ27の前面を通過させてレーダー探知装置10の右方へ抜けた位置まで一回スライドさせるジェスチャーをする。このとき、制御部35は対象物がジェスチャーセンサ27の前面で左方から右方へ一回のスライドをするジェスチャーがあったと判断して表示画面に表示させている現状の待ち受け画面を右方向に退場させて隠れていた隣接した位置にある次の待ち受け画面を表示パネル18の表示画面に表示させるようにスライド移動させる画面表示をさせる。このとき、このジェスチャーに連動して制御部35は「レ」→「ファ♯」→「ラ」→1オクターブ上の「レ」の順にスピーカ装置20から音を出力させる(上記の一連のジェスチャー中における対象物の第1の動きに相当)。
本実施の形態の待ち受け画面はカレンダー→時計→速度→エコドライブモード→測位情報→全待ち受け画面のローテーション→表示オフ→レーダースコープ→ドライブモード・・・というようにループ化されており現状から8回の移動で当初の待ち受け画面モードに戻ることとなっている。
一方、図13に示すように、手をレーダー探知装置10の左方位置からジェスチャーセンサ27の前面を通過させた後に筐体13の右縁付近で停止させる。この位置は音出力基準領域Zに隣接した音出力基準領域Zの外側位置に当たる。制御部35は所定の停止時間(例えば0.3秒)以上のこの位置での停止状態を検出するといわゆる「長押し」モードと判断してループ化された待ち受け画面を次々と表示画面に変更表示させる。
このとき、このジェスチャー(上記の「その4のバリーション」に相当)に連動して制御部35は「レ」→「ファ♯」→「ラ」→「レ」の断続音、の順にスピーカ装置20から音を出力させる。制御部35は対象物が停止状態が解除された状態をもって処理を終了し、断続音も停止させる。
B. About changing the standby screen (from left to right)
As shown in FIG. 12, while maintaining a distance of, for example, 7 cm in front of the
The standby screen in this embodiment is looped as follows: calendar → clock → speed → eco-drive mode → positioning information → rotation of all standby screens → display off → radar scope → drive mode... 8 times from the current state. The screen returns to the original standby screen mode.
On the other hand, as shown in FIG. 13, the hand is passed from the left position of the
At this time, in conjunction with this gesture (corresponding to the above-mentioned "Part 4 variation"), the
(右方から左方へ)
逆に、図14に示すように、手をレーダー探知装置10の右方位置からレーダー探知装置10の左方へ抜けた位置まで一回のスライドさせるジェスチャーをする。このとき、制御部35は対象物がジェスチャーセンサ27の前面で左方から右方へ一回のスライドをするジェスチャーがあったと判断して表示画面に表示させている現状の待ち受け画面を左方向に退場させて隠れていた隣接した位置にある次の待ち受け画面を表示パネル18の表示画面に表示させるようにスライド移動させる画面表示をさせる。このとき、このジェスチャーに連動して制御部35は「レ」→「ファ♯」→「ラ」→「ミ」の順にスピーカ装置20から音を出力させる(上記の一連のジェスチャー中における対象物の第1の動きに相当)。
一方、図15に示すように、手をレーダー探知装置10の右方位置からジェスチャーセンサ27の前面を通過させた後に表示パネル18に左方付近で停止させる。この位置は音出力基準領域Zに隣接した音出力基準領域Zの外側位置に当たる。これによっていわゆる「長押し」モードと判断して制御部35はループ化された待ち受け画面を次々と表示画面に変更表示させる。
このとき、このジェスチャー(上記の「その4のバリーション」に相当)に連動して制御部35は「レ」→「ファ♯」→「ラ」→「ミ」の断続音、の順にスピーカ装置20から音を出力させる。制御部35は対象物が停止状態が解除された状態をもって処理を終了し、断続音も停止させる。
(from right to left)
Conversely, as shown in FIG. 14, the user makes a gesture of sliding the hand once from a position to the right of the
On the other hand, as shown in FIG. 15, after passing the hand in front of the
At this time, in conjunction with this gesture (corresponding to the above-mentioned "Part 4 variation"), the
C.設定画面への移行について
図16に示すように、レーダー探知装置10のフロントプレート12前面でかつジェスチャーセンサ27に正対した位置で例えば9cmの距離を維持して停止させるジェスチャーをする。このとき、制御部35は対象物がジェスチャーセンサ27の前面で所定時間(例えば2秒)以上停止するジェスチャーがあったと判断して初期設定で表示パネル18の表示画面に待ち受け画面が表示されている状態から設定画面に移行させる。
本実施の形態の設定画面は移行初期画面となるity.MAPからスタートして→モード(及びそのサブメニュー)→明るさ(及びそのサブメニュー)→フレックスディマー(及びそのサブメニュー)→レーダー警報音(及びそのサブメニュー)→センサー確認音(及びそのサブメニュー)→センサー反応範囲(及びそのサブメニュー)→設定初期(及びそのサブメニュー)→バージョン表示→デモモード(及びそのサブメニュー)→待ち受け画面→ity.MAPというようにループ化されており、上記の「B.待ち受け画面の変更について」と同様の操作で左方から右方へ、あるいは右方から左方へと次々と表示パネル18の表示画面に表示させる設定メニューを変更することができる。また、サブメニューでは上記の「A.音量の変更について」と同様の操作で下方から上方へ、あるいは上方から下方へと次々と表示パネル18の表示画面に表示させる設定メニューを変更することができる。ここで、設定画面のループ内に待ち受け画面が含まれているため、この設定画面への移行モードにおいて待ち受け画面に復帰させたいと考えた場合に一旦電源をオフとしなくとも設定画面内でジェスチャーをすることで実行することが可能となっている。待ち受け画面に復帰した後は、上記「B.待ち受け画面の変更について」のジェスチャーが可能となる。
制御部35は所定の停止時間(例えば2秒)以上この位置での停止状態を検出すると上記(6)ジェスチャー中における対象物の第2の動きの記載のように「カリッ」という音を断続的にスピーカ装置20から出力させる(上記のジェスチャー中における対象物の第2の動きに相当)。設定画面を変更する場合のジェスチャーでは上記(1)~(4)の一連のジェスチャー中における対象物の第1の動きの記載に従った音が出力される。
C. Regarding transition to the setting screen As shown in FIG. 16, a gesture is made to stop the
The setting screen of this embodiment is the ity.migration initial screen. Start from MAP → Mode (and its submenu) → Brightness (and its submenu) → Flex Dimmer (and its submenu) → Radar warning sound (and its submenu) → Sensor confirmation sound (and its submenu) ) → Sensor response range (and its submenu) → Initial settings (and its submenu) → Version display → Demo mode (and its submenu) → Standby screen → ity. MAP, and the display screen of the
When the
次に、音出力基準領域Z内にジェスチャーの判断の支障となる何らかの遮蔽物が存在している場合の処理について説明する。
例えば、レーダー探知装置10を車両内で使用している場合を想定する。その場合に日の光がまぶしくてサンバイザーを使用する場合がある。するとレーダー探知装置10の取り付け位置によってはサンバイザーが遮蔽物となって音出力基準領域Z内に進入してしまう可能性がある。以下はこのような遮蔽物があった場合でもユーザーがジェスチャーを支障なく行うための処理であって、遮蔽物からの光量に基づく検出値をオフセット(減算)した上で通常のジェスチャーを認識するというものである。
Next, a description will be given of processing when there is some kind of shielding object within the sound output reference area Z that obstructs gesture determination.
For example, assume that the
(初期状態での遮蔽物の有無の判断)
まず、遮蔽物がない初期状態で制御部35は次の3つの状態を判断する。
a.音出力基準領域Z内に何らかの遮蔽物(ここは対象物も区別せずに判断する、以下同様)が進入し、所定の処理が決定されることもなく所定時間(120ms)の停止があったと判断した場合
b.音出力基準領域Z内に何らかの遮蔽物が進入し、上記の「(6)ジェスチャー中における対象物の第2の動き」のジェスチャーが5秒以上あったと判断した場合
c.音出力基準領域Z内に何らかの遮蔽物が進入し、上記の「(5)ジェスチャー中における対象物の第1の動き(その4のバリーション)」のジェスチャーが8秒以上あったと判断した場合
(Judging whether there is a shield in the initial state)
First, the
a. If some kind of obstruction (this is judged without distinguishing objects, the same applies hereafter) enters the sound output reference area Z, and there is a stoppage for a predetermined time (120 ms) without determining the predetermined process. If determined b. When it is determined that some kind of shielding object has entered the sound output reference area Z and the above-mentioned gesture of "(6) Second movement of the object during the gesture" has been performed for 5 seconds or more c. When it is determined that some kind of obstruction has entered the sound output reference area Z and the above gesture of "(5) First movement of the object during the gesture (variation of part 4)" has been performed for 8 seconds or more
ここで、a.は進入した遮蔽物によってなんら処理モードに移行することなかった場合を想定したものである。120msとしたのは制御部35が120ms毎にオフセットの計算をするため、その間隔に対応させたものである。この場合には制御部35は遮蔽物によって変化したジェスチャーセンサ27の検出値をオフセットする計算をし、オフセット後のジェスチャーセンサ27の状態を検出の基準とする。
また、b.及びc.はそれぞれなんらかの処理モードに移行して表示画面や音量が変化してしまった状態であり、長時間を設定することで通常のジェスチャーと異なる停止ジェスチャーとしたものである。これらの場合では、遮蔽物によって意図しない処理が実行されてしまっているので、制御部35は強制的にデフォルトで設定されている待ち受け画面に移行させるようにする。また、同様に音声も強制的にデフォルトで設定されている音量にすることで意図しない入力により開始してしまった可能性のある処理をキャンセルする。そして、その後にa.と同様に制御部35は遮蔽物によって変化したジェスチャーセンサ27の検出値をオフセットする計算をし、オフセット後のジェスチャーセンサ27の状態を検出の基準とする。
以上を模式的に説明すると図17(a)の如くである。
Here, a. This assumes that there is no transition to the processing mode due to an intruding shield. The reason why the period is 120 ms is to correspond to the interval since the
Also, b. and c. Each of these is a state in which the display screen and volume have changed due to transition to some processing mode, and by setting a long time, it is a stop gesture that is different from a normal gesture. In these cases, an unintended process is executed due to the blocking object, so the
The above will be schematically explained as shown in FIG. 17(a).
(オフセット計算中の遮蔽物の有無の判断)
上記のようにオフセットする計算を開始して遮蔽物の光量をキャンセルした状態で通常のジェスチャー認識を実行する。制御部35はジェスチャー認識中は所定のタイミング(120ms)で常にオフセットの計算をして最新のジェスチャーセンサ27の状態を検出の基準とするようにしている。
ここで、一旦音出力基準領域Z内に留まった遮蔽物が移動する場合がある。例えば、サンバイザーが揺れたり日差しの向きによって位置を変えたり、あるいは音出力基準領域Zから離脱させて元の位置に復帰させるようなことを念頭においている。遮蔽物が移動する場合として制御部35は次の3つの状態を判断する。
d.遮蔽物が移動したが、所定の処理が決定されることがなかった場合
e.遮蔽物が移動して上記の「(6)ジェスチャー中における対象物の第2の動き」のジェスチャーが5秒以上あったと判断した場合
f.遮蔽物が移動して上記の「(5)ジェスチャー中における対象物の第1の動き(その4のバリーション)」のジェスチャーが8秒以上あったと判断した場合
d.は例えば、音出力基準領域Z内の遮蔽物が振動でわずかに揺れ動く場合を想定している。この場合には特にレーダー探知装置10の現状の処理の変化はないため、上記のように制御部35は所定のタイミングでジェスチャーセンサ27の検出値をオフセットする計算をする。
e.及びf.はそれぞれジェスチャーと認識されてなんらかの処理モードに移行して表示画面や音量が変化してしまった状態である。この場合には制御部35は上記b.及びc.と同様に強制的に待ち受け画面に移行させるとともに、音声も強制的にデフォルトで設定されている音量にし、その後に上記のように所定のタイミングでジェスチャーセンサ27の検出値をオフセットする計算をする。
制御部35が実行する処理は上記b.及びc.と同様であるが、その目的は異なる。b.及びc.では初期状態で外から遮蔽物が音出力基準領域Z内に進入してくる場合の対応でありまだオフセットの計算がない状態での対応であり、e.及びf.は遮蔽物が音出力基準領域Z内に進入して遮蔽物をオフセットする計算をしている最中(オフセット計算開始後)の対応になる。
以上を模式的に説明すると図17(b)の如くである。
(Determining the presence or absence of an obstruction during offset calculation)
Start the offset calculation as described above and perform normal gesture recognition with the amount of light of the shielding object canceled. The
Here, the shielding object that once remained within the sound output reference area Z may move. For example, it is assumed that the sun visor shakes or changes its position depending on the direction of sunlight, or that it leaves the sound output reference area Z and returns to its original position. The
d. If the shielding object moves but the predetermined process is not determined, e. If it is determined that the shielding object has moved and the above-mentioned gesture of "(6) Second movement of the object during the gesture" has been performed for 5 seconds or more; f. When it is determined that the shielding object has moved and the above gesture of "(5) First movement of the object during the gesture (variation of Part 4)" has been performed for 8 seconds or more d. For example, it is assumed that the shielding object in the sound output reference area Z slightly shakes due to vibration. In this case, since there is no particular change in the current processing of the
e. and f. Each of these is recognized as a gesture, moves to some kind of processing mode, and changes the display screen and volume. In this case, the
The processing executed by the
The above will be schematically explained as shown in FIG. 17(b).
(遮蔽物がジェスチャーセンサ近傍にある場合)
遮蔽物がジェスチャーセンサ27に非常に接近して配置された場合には、空間に隙間が少ないため通常のジェスチャーはできなくなる。つまりジェスチャーセンサ27での検出が物理的に不可能になる。そのため、このような状態を想定して遮蔽物がジェスチャーセンサ27に非常に接近して配置された場合にジェスチャー認識をさせないような処理を行う。具体的には、制御部35はジェスチャー認識中は所定のタイミング(120ms)で常にジェスチャーセンサ27から所定の距離(例えば3cm)以内に遮蔽物があり、かつそれが所定の時間(例えば5秒)以上停止しているかどうかを判断する。そして、所定の距離以内に遮蔽物があり、かつそれが所定の時間以上停止していると判断した場合には制御部35は計算においてジェスチャーセンサ27の検出値をキャンセルする。つまり、ジェスチャーセンサ27によるジェスチャー認識はされるものの、あたかも何も検出しない状態と同様になって外見上はジェスチャーセンサ27が作動していない状態とされる(実際にジェスチャーセンサ27の検出自体を停止させてもよい)。
一方、ジェスチャーセンサ27が所定の距離以上に移動したと制御部35が判断するとジェスチャーセンサ27の検出値を用いた計算を再開する。
(When the shield is near the gesture sensor)
If the shield is placed very close to the
On the other hand, when the
次にユーザーが設定画面で設定した「センサー反応範囲」を一時的にデフォルト状態(ここでは10cmの範囲)に戻す場合の処理について説明する。この処理は次のようなケースを想定している。
センサー反応範囲がデフォルト状態であると範囲が広めに設定されているため何かの拍子にセンサー反応範囲(出力基準領域Z)に手が入って何らかの処理が実行されてしまう可能性がある。そのためユーザーの設定でセンサー反応範囲を、例えば普通(6cm)や狭い(4cm)に設定できることがよい。しかし、そのような場合でも状況に応じてすばやく操作するために範囲の広いデフォルト状態に戻すことがよいからである。ここでは、その一例として、レーダー探知装置10からなんらかの警報が発せられている際にその報知をミュートさせる操作をしやすくするために「センサー反応範囲」を一時的に広くするための制御部35による処理を図18のルーチンに基づいて説明する。制御部35は所定のタイミングで繰り返しこのルーチンを実行する。
まず、ステップS10において制御部35は警報が報知されているかどうかを判断し、警報が報知されていると判断すると、ステップS11で現状のセンサー反応範囲が10cmに設定されているかどうかを判断する。ここで、センサー反応範囲が10cmに設定されていると判断すると処理は一旦終了する。つまり、特にセンサー反応範囲を変更する必要はないということである。
Next, a description will be given of processing when the "sensor reaction range" set by the user on the setting screen is temporarily returned to the default state (here, a range of 10 cm). This process assumes the following cases.
When the sensor reaction range is in the default state, the range is set to be wide, so there is a possibility that the sensor reaction range (output reference area Z) is accidentally entered and some processing is executed. Therefore, it is preferable that the sensor response range can be set by the user to, for example, normal (6 cm) or narrow (4 cm). However, even in such a case, it is good to return to a default state with a wide range in order to quickly perform operations depending on the situation. Here, as an example, when some kind of alarm is issued from the
First, in step S10, the
一方、ステップS11で現状のセンサー反応範囲が10cmではない(つまり6cm又は4cmである)と判断した場合にはステップS12でセンサー反応範囲が10cmとなるように制御し、ステップS13でフラグに「1」を立てて処理を一旦終了する。これで一時的にセンサー反応範囲が10cmに変更されることとなる。
これに対して、ステップS10で警報が報知されていないと判断した場合にはステップS14でフラグが「1」かどうかを判断する。ここで、フラグが「1」の場合には直前のルーチンでセンサー反応範囲が一旦10cmに変更されているということであるため、その直前のセンサー反応範囲である6cm又は4cmに戻し、フラグを「0」とする。一方、ステップS14でフラグが「1」ではない場合には、直前のセンサー反応範囲の変更はなかったということでそのまま処理を終了させる。
このような制御であれば、警報が報知されている際には一時的にユーザが操作しやすい10cmの距離のセンサー反応範囲に変更され、ユーザーがジェスチャー操作で音量を抑制しやすくなる。一方、警報が報知完了すると元のセンサー反応範囲に復帰するのでユーザは再度設定する手間が省ける。
On the other hand, if it is determined in step S11 that the current sensor reaction range is not 10 cm (that is, it is 6 cm or 4 cm), the sensor reaction range is controlled to be 10 cm in step S12, and the flag is set to "1" in step S13. ” and end the process once. This will temporarily change the sensor response range to 10cm.
On the other hand, if it is determined in step S10 that no warning has been issued, it is determined in step S14 whether the flag is "1". Here, if the flag is "1", it means that the sensor reaction range was once changed to 10cm in the previous routine, so return it to the previous sensor reaction range of 6cm or 4cm and set the flag to "0". On the other hand, if the flag is not "1" in step S14, it means that there has been no change in the sensor reaction range immediately before, and the process is directly terminated.
With this kind of control, when an alarm is being issued, the sensor response range is temporarily changed to a distance of 10 cm, which is easier for the user to operate, making it easier for the user to suppress the volume by gesture operation. On the other hand, once the alarm is complete, the sensor returns to its original response range, saving the user the trouble of setting it up again.
上記のように構成することにより本実施の形態のレーダー探知装置10では次のような効果が奏される。
(1)レーダー探知装置10では従来のように実際に触って操作するための例えば静電スイッチで構成された入力部やタッチパネル等が不要となり、4方向動作+接近停止動作で操作ができるため非常なコストダウンとなり、それら入力部等の構成部材が不要になることから重量も軽減できることとなって、特に振動の多い車両内にレーダー探知装置10を設置する際に好適である。
(2)レーダー探知装置について様々な機能が多く付随したいわゆる高級機では細かな設定が必要となるため、どうしてもリモコンやタッチパネルのような入力部が必要となる。しかし、特に設定項目の少ない傾向となるローエンド機ではジェスチャーでの入力であってもシンプルな操作となるため取りこぼしがなく、そのためローエンド機において最適である。高級機ではジェスチャーセンサ27を搭載する必要はなく、ジェスチャー機能を設けてもあくまで補助的な入力となるにすぎないため、コストアップとなってしまう。つまり、ユーザからの機器への操作入力手段としてジェスチャー検出手段以外の手段を備えることのない例えばレーダー探知装置のような機器を提供することが可能となる。
(3)レーダー探知装置10はルームミラーを兼用しているが、このようにジェスチャーによって入力できることで従来のようなミラー部の側方のスイッチエリアが必要でなくなり全面ミラーとなって、従来よりも相対的にミラー領域が増えることとなりユーザーにとってルームミラーとしての機能が向上することとなる。また、ユーザがミラー面に触らなくとも操作できるため指紋等で汚れにくくなる。
(4)ユーザーは所定のジェスチャーを実行するだけで、レーダー探知装置10を所望の処理モードに移行させることができるため実際に触って入力するための入力部等を目視して探す必要がないため操作上有利である。また、運転中であれば入力部等を探す必要がないため運転に専念できることとなる。
(5)例えば触って操作するための入力部やタッチパネル等のように接触することがなくなるため、筐体13が汚れにくくなり、また、接触による劣化も防止することができる。
(6)ユーザーはジェスチャーを何度か繰り返すことで同じ音を発するジェスチャーパターンを覚えることができ、そのジェスチャーを実行することで所望の処理を選択することが簡単にできるようになる。その際に音の種類や複数の音の出力されるタイミングに基づいて正確にジェスチャーパターンを覚えることができることとなる。
(7)一連のジェスチャーに所定の処理を実行するためのジェスチャーが含まれている場合には所定の処理に応じた音が出力され、その音との関係でユーザーは所定の処理の内容を理解することができる。
(8)音出力基準領域Z内にジェスチャーの判断の支障となる例えばサンバイザーのような遮蔽物が存在していても、この影響をキャンセルするような処理を実行するため、操作するための入力部等、実際になんらかの確実な入力手段がなくとも間違いなく入力が可能となっている。
(9)ユーザーの設定でセンサー反応範囲を、例えば普通(6cm)や狭い(4cm)に設定した場合であっても、警報が報知されている際には一時的にユーザが操作しやすい10cmの距離のセンサー反応範囲に変更されるため、ユーザーがジェスチャー操作で音量を抑制しやすくなる。一方、警報が報知完了すると元のセンサー反応範囲に復帰するのでユーザは再度設定する手間が省けることとなる。
(10)スピーカ装置20の音出口25は筐体13の下方位置であるため、レーダー探知装置10を車両内に設置した場合に耳に近く、かつホーン23内で音が増幅されるためユーザーにとって非常に聞き取りやすくなっている。
(11)センサー位置を示す4つのマーク33は同時に所定の処理を実行させるためのジェスチャー方向(上下左右)を示すため、初めてのユーザーにとって分かりやすいものとなっている。
By configuring as described above, the
(1) The
(2) Regarding radar detection devices, so-called high-end devices equipped with many various functions require detailed settings, so an input unit such as a remote control or a touch panel is necessary. However, especially for low-end machines that tend to have fewer setting items, even input using gestures is a simple operation, so you won't miss anything, so it is ideal for low-end machines. High-end machines do not need to be equipped with the
(3) The
(4) Since the user can shift the
(5) Since there is no need for contact, such as with an input section or a touch panel that is operated by touch, the
(6) By repeating the gesture several times, the user can memorize a gesture pattern that produces the same sound, and by executing the gesture, the user can easily select the desired process. At that time, it becomes possible to accurately memorize gesture patterns based on the types of sounds and the timing at which multiple sounds are output.
(7) If the series of gestures includes a gesture for executing a predetermined process, a sound corresponding to the predetermined process is output, and the user understands the content of the predetermined process in relation to the sound. can do.
(8) Even if there is an obstruction, such as a sun visor, in the sound output reference area Z that would interfere with the judgment of gestures, input for operation is performed to cancel this influence. It is possible to input without any doubt even if there is no reliable input means.
(9) Even if the user has set the sensor response range to normal (6 cm) or narrow (4 cm), for example, when an alarm is being issued, the sensor response range is temporarily set to 10 cm, which is easier for the user to operate. Since the distance sensor response range has been changed, it will be easier for users to suppress the volume using gesture operations. On the other hand, once the alarm is complete, the sensor response range returns to the original one, which saves the user the trouble of setting it up again.
(10) Since the
(11) The four marks 33 indicating the sensor positions simultaneously indicate gesture directions (up, down, left, and right) for executing a predetermined process, making it easy for first-time users to understand.
本発明を、以下のような態様で具体化して実施してもよい。
・上記実施の形態のレーダー探知装置10では図2に示すように、制御基板17上にジェスチャーセンサ27を搭載したセンサ基板28を図示しないBtoBコネクタを介して別体として積層状に接続するようにしていた。しかし、このような接続によってジェスチャーセンサ27をミラー部30背面に近接させて配置させようとする場合には基板の厚み公差によって予定よりもミラー部30から離間してしまい所定範囲内に収まらないという場合もあり得る。
そのため、ジェスチャーセンサを配置する場合に図19に示すような構成とすることがよい。この図19は据え置き型のレーダー探知装置50の部分拡大断面図である。レーダー探知装置50は本体ケース51とフロントプレート52から筐体53が構成されている。フロントプレート52の前面には透明ガラス製のカバー54が配設されている。ジェスチャーセンサ55を搭載したセンサ基板56はフロントプレート52に形成されたスタッド57に対してネジ58によって固定されている。センサ基板56はメイン基板59とフレキシブルケーブル60によって接続されている。
このようにセンサ基板56が単独で直接フロントプレート52側のスタッド57に固定されており、間に他の部材を介さずにミラー部30までの距離を短縮させてジェスチャーセンサ55を正確にカバー54に近接した位置に配置することが可能となる。要はセンサ基板56が単独でフロントプレート52側に固定されればよいため、ネジ58以外の固定手段、例えばクリップのような手段で固定するようにしてもよい。このような据え置き型のレーダー探知装置50のジェスチャーセンサの設置機構を上記レーダー探知装置10の構成に適用してもよい。
The present invention may be embodied and implemented in the following manner.
- In the
Therefore, when arranging the gesture sensor, it is preferable to adopt a configuration as shown in FIG. 19. FIG. 19 is a partially enlarged sectional view of the stationary
In this way, the
・ジェスチャー中の対象物の位置によって様々な音が出力されるが、この際にジェスチャーはいくつかの音を出力する全体を1つのジェスチャーと考えることもでき、ある1つの音に対応したジェスチャーをもって1つのジェスチャーと考えることもできるものである。つまり、以下の例えば第1のジェスチャーはその1から始まりその4で終わるジェスチャーと考えてもよく、「第1のジェスチャー(その2)」だけでも開始と終了のある単独のジェスチャーと考えてもよい。
・上記のジェスチャー以外にも、例えば、対象物がジェスチャーセンサ27の前面を斜め方向に横切るようなジェスチャーや円を描くようなジェスチャーを採用してもよい。また、例えばジェスチャーセンサ27に対して対象物を正対させ離間した位置から接近させる(あるいは逆に離間させる)ようなジェスチャーでもよい。
・上記のミラー部30の第2の窓部32は可視光が透過するため、ジェスチャーセンサ27が目視できるような構成であった。しかし、ジェスチャーセンサ27を見せないように可視光域の光線は反射あるいは吸収させるようにし、赤外線のみを透過させるような透過特性の透過膜を配置させることがよい。
・上記第1及び第2の窓部31、32の形状や位置は適宜変更可能である。
・上記実施の形態で例示した制御部35が実行するその他の処理として、例えば、音に関する処理としてはその他、音(音声)の出力とその停止、音質(音色)の変更、音の数の変更、音のパターン(例えばメロディー)の変更、ガイダンスの声の変更等をジェスチャーによって可能とするように設定してもよい。
・上記実施の形態では手のジェスチャーの移動方向の上下左右の4方向に設定していたが、移動方向はこの4つ以外のパターンで用意してもよい。
・上記のジェスチャー中の音は一例であって他の音程の音を使用してもよい。また、音程も上記では対象物がセンサー反応範囲を横切ることで徐徐に高い音となるような設定であったが、対象物の移動に伴って出力される音がメロディーがあるかのように高くなったり低くなったりするようなパターンで設定してもよい。
・上記実施の形態ではユーザーの設定でセンサー反応範囲を、例えば普通(6cm)や狭い(4cm)に設定した場合に、警報が報知されている際に一時的にユーザが操作しやすい10cmの距離のセンサー反応範囲に変更するようにしていたが、警報報知の場合以外にこのような処理を実行するようにしてもよい。例えば、時刻の報知、事故情報の報知等の場合である。また、上記ではセンサー反応範囲を3つの距離に設定できるようにしていたが、2つあるいは4つ以上に設定できるようにしてもよい。また、一時的にユーザが操作しやすい10cmの距離のセンサー反応範囲に変更した後はセンサー反応範囲を再び普通(6cm)や狭い(4cm)に戻すような処理であったが戻さなくともよい。
・上記レーダー探知装置10の構成は一例であって、他の形状で実施するようにしてもよい。例えば、上記では正面向かって右寄りにジェスチャーセンサ27が配置されていたが、これは主として右ハンドルの車両で左手でジェスチャーをするユーザーを念頭に置いているものであるが、左ハンドルの車両を念頭に左寄りにジェスチャーセンサ27を配置するようにしてもよい(つまり、車両に応じてジェスチャーしやすい位置に配置するようにしてもよい)。あるいは、上記の正面向かって右寄りにジェスチャーセンサ27が配置された実施形態において、ミラーに変更な面内で180度回転して車両のルームミラーに取り付けられる構成とし、この場合、ユーザからの設定あるいはGセンサ等によって取り付け方向を判定し、判定した取り付け方向に合うようにジェスチャーの認識方向を180度回転させるか否かを決定するようにするとよい。
・レーダー探知装置以外に、車両用として例えば、ナビゲーション装置(レーダー探知機能のないもの)やドライブレコーダー装置に適用するようにしてもよい。
・車両用以外の様々な機器に応用するようにしてもよい。
・ジェスチャーセンサ27の検出において上記では赤外線発光素子からの赤外光を対象物に当ててその反射光の変化を受光素子で捉えるものであったが、赤外線の代わりに例えば超音波や静電容量の変化を利用したもの等他の原理のジェスチャーセンサを使用するようにしてもよい。
・ミラー部30前面にミラ-面保護用の保護シートを貼着する場合がある。この場合において、ユーザーは使用時に剥がさずに使用する場合がある。しかし、経年使用によって保護シートが一部剥がれてジェスチャーセンサ27の検出範囲内にその剥がれた保護シートが揺れてあたかもジェスチャーと間違えるような動作をする可能性がある。これは誤動作の原因となる可能性がある。そのため、図20のように保護シート62を第2の窓部32から離間した範囲内のみに貼着させたり、剥がれやすい角部を面取り状に形成したりすることができ、誤動作や保護シート62がユーザーのジェスチャーの邪魔になることがなくなるとともに、ユーザーが剥がれた部分を取り除いたりする面倒さもなくなる。特に、ミラーの全面に保護シートを設け、第2の窓部32にそってその保護シートをくりぬいた構成とするとよい。このようにすればミラー面の全面を保護することができるとともに、ユーザーが保護シートを取り外さずに使用を開始した場合でも、保護シートの動きによってジェスチャーと認識される可能性を低減できる。
・車載用の機器以外に応用するようにしてもよい。
本発明はその趣旨を逸脱しない範囲において変更した態様で実施することは自由である。
・Various sounds are output depending on the position of the object in the gesture, but in this case, the gesture can be thought of as a whole that outputs several sounds, and the gesture that corresponds to one sound can be It can also be considered a gesture. In other words, for example, the first gesture below can be thought of as a gesture that starts with
- In addition to the above gestures, for example, a gesture in which the object diagonally crosses the front surface of the
- The
- The shapes and positions of the first and
- Other processes executed by the
- In the above embodiment, the movement direction of the hand gesture is set to four directions, up, down, left and right, but the movement direction may be prepared in patterns other than these four.
・The sounds in the above gesture are just examples, and sounds with other pitches may be used. In addition, the pitch was set so that the sound gradually becomes higher as the object crosses the sensor response range, but the sound output as the object moves becomes higher and higher, as if there is a melody. It may also be set in a pattern that increases or decreases.
- In the above embodiment, when the sensor response range is set by the user to normal (6 cm) or narrow (4 cm), for example, when an alarm is being issued, the sensor response range is temporarily set at a distance of 10 cm, which is easy for the user to operate. However, such processing may be executed in cases other than alarm notification. For example, this is the case for time notification, accident information notification, etc. Further, in the above example, the sensor reaction range can be set to three distances, but it may be set to two or four or more distances. Furthermore, after temporarily changing the sensor response range to a distance of 10 cm that is easier for the user to operate, the sensor response range was changed back to normal (6 cm) or narrow (4 cm), but this does not need to be done.
- The configuration of the
- In addition to radar detection devices, the present invention may be applied to vehicles such as navigation devices (without radar detection function) and drive recorder devices.
- It may be applied to various devices other than vehicles.
- In the detection of the
- A protective sheet may be attached to the front surface of the
- It may be applied to devices other than in-vehicle devices.
The present invention may be freely implemented in modified forms without departing from its spirit.
10…電子情報システムとしてのレーダー探知装置、35…制御手段としての制御部。 10... Radar detection device as an electronic information system, 35... Control section as control means.
Claims (3)
前記フロントプレートの前面には透明のカバーが配設されており、
制御基板上に前記透明のカバーを介して赤外線を照射し対象物に反射して戻ってくる光を受光することでジェスチャーを検出するためのジェスチャーセンサを搭載したセンサ基板を、BtoBコネクタを介して別体として積層状に接続するのではなく、
前記透明のカバーを介して赤外線を照射し対象物に反射して戻ってくる光を受光することでジェスチャーを検出するためのジェスチャーセンサを搭載した前記センサ基板は前記フロントプレート側に固定されており、前記センサ基板は前記制御基板とケーブルによって接続されていること
を特徴とする装置。 A device having a housing including a main body case and a front plate,
A transparent cover is arranged in front of the front plate,
A sensor board equipped with a gesture sensor for detecting gestures by emitting infrared rays through the transparent cover and receiving the light reflected back from the target object is connected to the control board via the BtoB connector. Rather than connecting them in a layered manner as separate pieces,
The sensor board is fixed to the front plate side and is equipped with a gesture sensor for detecting gestures by emitting infrared rays through the transparent cover and receiving the light reflected back from the object. , wherein the sensor board is connected to the control board by a cable.
を特徴とする請求項1に記載の装置。 Fixing to the front plate side a sensor board equipped with a gesture sensor for detecting a gesture by irradiating infrared rays through the transparent cover and receiving the light reflected back from a target object is as follows: 2. The device according to claim 1, wherein the device is fixed to a stud formed in the front plate with a screw.
を特徴とする請求項1または2に記載の装置。 A speaker device is connected to the control board , and a gesture detection result by a gesture sensor is configured to detect a gesture by emitting infrared rays through the transparent cover and receiving light reflected back from an object. 3. The apparatus according to claim 1, further comprising a control means for controlling the speaker apparatus to output a sound corresponding to the sound.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023001492A JP7450899B2 (en) | 2019-12-24 | 2023-01-10 | Electronic information systems and their programs |
JP2024027249A JP2024063081A (en) | 2019-12-24 | 2024-02-27 | Electronic information system and program of the same |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019232178A JP6915815B2 (en) | 2018-05-14 | 2019-12-24 | Electronic information system and its programs |
JP2021111950A JP7214165B2 (en) | 2019-12-24 | 2021-07-06 | Electronic information system and its program |
JP2023001492A JP7450899B2 (en) | 2019-12-24 | 2023-01-10 | Electronic information systems and their programs |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021111950A Division JP7214165B2 (en) | 2019-12-24 | 2021-07-06 | Electronic information system and its program |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024027249A Division JP2024063081A (en) | 2019-12-24 | 2024-02-27 | Electronic information system and program of the same |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023040164A JP2023040164A (en) | 2023-03-22 |
JP7450899B2 true JP7450899B2 (en) | 2024-03-18 |
Family
ID=78945640
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021111950A Active JP7214165B2 (en) | 2019-12-24 | 2021-07-06 | Electronic information system and its program |
JP2023001492A Active JP7450899B2 (en) | 2019-12-24 | 2023-01-10 | Electronic information systems and their programs |
JP2024027249A Pending JP2024063081A (en) | 2019-12-24 | 2024-02-27 | Electronic information system and program of the same |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021111950A Active JP7214165B2 (en) | 2019-12-24 | 2021-07-06 | Electronic information system and its program |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024027249A Pending JP2024063081A (en) | 2019-12-24 | 2024-02-27 | Electronic information system and program of the same |
Country Status (1)
Country | Link |
---|---|
JP (3) | JP7214165B2 (en) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001216069A (en) | 2000-02-01 | 2001-08-10 | Toshiba Corp | Operation inputting device and direction detecting method |
JP2007080808A (en) | 2005-08-17 | 2007-03-29 | Fujikura Ltd | Capacitance switch for automobile electric component, vehicle measuring instrument, and vehicle room lighting device |
JP2007137331A (en) | 2005-11-21 | 2007-06-07 | Tokai Rika Co Ltd | Inner mirror |
JP2013218630A (en) | 2012-04-12 | 2013-10-24 | Tokai Rika Co Ltd | Operation device |
WO2013179390A1 (en) | 2012-05-29 | 2013-12-05 | 本田技研工業株式会社 | Vehicle-use display apparatus |
JP2014053014A (en) | 2012-09-10 | 2014-03-20 | Samsung Electronics Co Ltd | Method for combination operation of portable terminal and external display device, and device supporting the same |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5668663A (en) * | 1994-05-05 | 1997-09-16 | Donnelly Corporation | Electrochromic mirrors and devices |
US5825527A (en) * | 1997-04-02 | 1998-10-20 | Gentex Corporation | Information display area on electrochromic mirrors having a third surface metal reflector |
US7009751B2 (en) | 1999-05-14 | 2006-03-07 | Gentex Corporation | Electrochromic rearview mirror incorporating a third surface partially transmissive reflector |
US6346698B1 (en) * | 1999-07-22 | 2002-02-12 | Gentex Corporation | Low EMI multiplexed dual display |
JP2005174356A (en) | 2000-02-01 | 2005-06-30 | Toshiba Corp | Direction detection method |
US8381135B2 (en) | 2004-07-30 | 2013-02-19 | Apple Inc. | Proximity detector in handheld device |
JP5435671B2 (en) | 2012-03-29 | 2014-03-05 | Necインフロンティア株式会社 | Mobile terminal and control method thereof |
JP2014021748A (en) | 2012-07-19 | 2014-02-03 | Alpine Electronics Inc | Operation input device and on-vehicle equipment using the same |
CN209224628U (en) | 2018-11-20 | 2019-08-09 | 信利光电股份有限公司 | A kind of cell-phone camera hole protective film |
CN215757117U (en) | 2021-06-16 | 2022-02-08 | 信利光电股份有限公司 | Touch screen and combined material protection film thereof |
-
2021
- 2021-07-06 JP JP2021111950A patent/JP7214165B2/en active Active
-
2023
- 2023-01-10 JP JP2023001492A patent/JP7450899B2/en active Active
-
2024
- 2024-02-27 JP JP2024027249A patent/JP2024063081A/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001216069A (en) | 2000-02-01 | 2001-08-10 | Toshiba Corp | Operation inputting device and direction detecting method |
JP2007080808A (en) | 2005-08-17 | 2007-03-29 | Fujikura Ltd | Capacitance switch for automobile electric component, vehicle measuring instrument, and vehicle room lighting device |
JP2007137331A (en) | 2005-11-21 | 2007-06-07 | Tokai Rika Co Ltd | Inner mirror |
JP2013218630A (en) | 2012-04-12 | 2013-10-24 | Tokai Rika Co Ltd | Operation device |
WO2013179390A1 (en) | 2012-05-29 | 2013-12-05 | 本田技研工業株式会社 | Vehicle-use display apparatus |
JP2014053014A (en) | 2012-09-10 | 2014-03-20 | Samsung Electronics Co Ltd | Method for combination operation of portable terminal and external display device, and device supporting the same |
Also Published As
Publication number | Publication date |
---|---|
JP2024063081A (en) | 2024-05-10 |
JP2021191672A (en) | 2021-12-16 |
JP2023040164A (en) | 2023-03-22 |
JP7214165B2 (en) | 2023-01-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3716588B1 (en) | Electronic device and fabrication method therefor | |
TW541255B (en) | Interactive vehicle display system | |
EP2947858A1 (en) | Mobile terminal with rear-surface sensor | |
US8039779B2 (en) | Electronic device | |
US20130021293A1 (en) | Display device | |
KR102608694B1 (en) | Electronic device comprising phase retarder and polarizing element for blocking out light reflected by sensor disposed below display thereof | |
US20070125633A1 (en) | Method and system for activating a touchless control | |
US20100156595A1 (en) | Control Panel for Controlling Information Processing System | |
US20070120834A1 (en) | Method and system for object control | |
JP2008054142A (en) | Electronic equipment | |
KR20120018132A (en) | Touch panel, touch panel manufacturing method, and electronic apparatus | |
JP4922227B2 (en) | Electronics | |
EP3570140B1 (en) | Control method and device for vehicle-mounted system | |
KR20210020568A (en) | Electronic device including camera module | |
WO2008023789A1 (en) | Electronic device | |
JP6730552B2 (en) | Electronic information system and its program | |
JP6664609B2 (en) | Electronic information system and its program | |
GB2422578A (en) | Input apparatus having screen with overlaying transparent embossed push buttons for the visually impaired | |
JP7450899B2 (en) | Electronic information systems and their programs | |
JP4932385B2 (en) | Portable electronic devices | |
JP2006277588A (en) | Touch panel and electronic apparatus having touch panel | |
JP6915815B2 (en) | Electronic information system and its programs | |
CN115756204A (en) | Key function triggering method and steering wheel control panel assembly | |
KR20160003522A (en) | Mobile terminal | |
KR20220044950A (en) | Interior rearview mirrors and vehicles |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20230112 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20230210 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230907 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230912 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231110 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240227 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7450899 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |