JP5501715B2 - ユーザインターフェース装置、ユーザインターフェース装置の制御方法、及びプログラム - Google Patents

Description

本発明は、ユーザインターフェース装置、ユーザインターフェース装置の制御方法、及びプログラムに関する。

ユーザがユーザインターフェース装置としてのタッチパネルの画面に指先でタッチすると、その指先でタッチした地点の座標がタッチパネルからジェスチャー解析部へ送られる。ジェスチャー解析部は、その座標及びそれまでに送られた座標の履歴から、何のジェスチャーかを判断し、ジェスチャーの判断結果（ページ送り、回転、ズーム等）とそのパラメータ（ページ送りであれば移動量、回転であれば角度、ズームであれば倍率）をアプリケーションに渡す。それまでの座標の履歴から何のジェスチャーかを判断できない場合は、次のタッチを待つ。ジェスチャーが完了したり、中断したりしたと判断された場合は、それまでの座標の履歴のデータを消去して、次のタッチを待つ。

アプリケーションは、受け取ったジェスチャー及びそのパラメータにより動作を行う。例えば、画像表示ソフトでは、ページ送りのジェスチャーにより画面に表示されている写真を切り替えたり、回転のジェスチャーにより表示画像を回転させたり、ズームのジェスチャーにより画像を拡大（縮小）表示させたりする。

この種のユーザインターフェース装置が特許文献１に開示されている。
特許文献１に記載の発明は、「ユーザインターフェース装置及びユーザインターフェース方法」に関する発明であり、具体的には、「所定のコマンドが割り付けられているジェスチャーを記憶するとともに、そのジェスチャーを誘導する案内軌跡を記憶する記憶手段と、軌跡入力デバイスに対するユーザの操作軌跡を解析する軌跡解析手段と、軌跡解析手段がユーザの操作軌跡を解析する毎に、記憶手段に記憶されているジェスチャーの中から、その操作軌跡に合致する１以上のジェスチャーを検索するジェスチャー検索手段と、記憶手段からジェスチャー検索手段により検索されたジェスチャーの案内軌跡を取得して、その案内軌跡を表示する一方、ジェスチャー検索手段により前回検索されたジェスチャーがユーザの操作軌跡と合致しなくなると、表示しているジェスチャーの案内軌跡を消去する案内軌跡表示手段と、ジェスチャー検索手段により検索されたジェスチャーが１つに絞られると、そのジェスチャーに割り付けられているコマンドを呼び出すコマンド呼出手段とを備えた」ものである。
すなわち、特許文献１に記載の発明は、ユーザの操作軌跡に合致する１以上のジェスチャーを検索し、その案内軌跡を表示する。また、ジェスチャーが１つに絞られると、そのジェスチャーに関連づけられているコマンドを呼び出す。

特開２００６−３３１２１０号公報

しかしながら、上述した従来技術では、どういうジェスチャー操作ができるかを案内するが、移動量や移動方向に応じた処理を行うジェスチャーに対して、移動量や移動方向に対してどのようなコマンドが関連づけられているかを示すことについては全く考慮されていない。

また、従来技術では、１本指で固定の図形等のジェスチャーを案内するため、マルチタッチで両方の指を動かし、かつ両方の指の相対的な移動（量及び方向）に応じた処理を行うジェスチャーの際に、どちらの指をどのくらい移動させたか（１本目を固定して２本目を移動させたのか、両方の指を同程度ずつ移動させたのか）によりジェスチャーの案内を変えることが考慮されておらず、操作性に改善の余地がある。

そこで、本発明の目的は、上記課題を解決するため、操作性を向上させたユーザインターフェース装置、ユーザインターフェース装置の制御方法、及びプログラムを提供することにある。

本発明の装置は、接触開始からの指の軌跡を検知するタッチパネルと、所定の規則性を有する前記指の軌跡であるジェスチャーと所定の処理との対応関係を記憶する記憶手段と、前記タッチパネルへの接触開始から接触終了までの指の軌跡が前記ジェスチャーの規則性に対応している場合に、接触終了地点に応じて定められるパラメータに従って前記所定の処理を実行する処理手段と、前記タッチパネルにより検知された接触開始からの指の軌跡が前記ジェスチャーの規則性に対応するか否かを判断し、対応する場合に、前記指の軌跡を前記規則性に従って延長した案内軌跡及び前記案内軌跡上の複数の地点で接触終了したときのそれぞれの予想処理結果を前記タッチパネルに表示するように制御する制御手段と、を備えたことを特徴とする。

本発明によれば、指の軌跡に基づいてタッチパネルに案内軌跡を表示し、案内軌跡上に、ポイントとなる地点と、その地点まで操作したときに予想される結果とを表示することにより、操作性を向上させたユーザインターフェース装置、ユーザインターフェース装置の制御方法、及びプログラムの提供を実現することができる。

本発明に係るユーザインターフェース装置の制御方法の一実施の形態を示すフローチャートである。 本発明に係るユーザインターフェース装置の一実施の形態を示すブロック図である。 （ａ）、（ｂ）は、本発明に係るユーザインターフェース装置の制御方法の一実施例を示す説明図である。 （ａ）、（ｂ）は、本発明に係るユーザインターフェース装置の制御方法の他の実施例を示す説明図である。 （ａ）、（ｂ）は、本発明に係るユーザインターフェース装置の制御方法の他の実施例を示す説明図である。 （ａ）、（ｂ）は、本発明に係るユーザインターフェース装置の制御方法の他の実施例を示す説明図である。 （ａ）〜（ｃ）は、本発明に係るユーザインターフェース装置の制御方法の他の実施例を示す説明図である。

次に本発明の実施の形態について図面を参照して説明する。
図１は、本発明に係るユーザインターフェース装置の制御方法の一実施の形態を示すフローチャートである。
図２は、本発明に係るユーザインターフェース装置の一実施の形態を示すブロック図である。

＜構 成＞
図２に示すユーザインターフェース装置は、タッチパネル１、ＣＰＵ２、ＲＯＭ３、ＲＡＭ４、Ｉ／Ｏポート５、及びバスライン６を有する。

タッチパネル１は、液晶表示装置とパネルスイッチとが一体化された入力装置であり、パネルスイッチは指がタッチされた地点の信号を発生する機能を有する。
例えば、パネルスイッチは、抵抗膜式、赤外線式、超音波表面弾性波式、音響波照合式、プロジェクテッド・キャパシティブ式のいずれを用いてもよい。

抵抗膜式のタッチパネルは、ガラス基板上に平行透明電極（センサ・ワイヤ）を設け、平行透明電極の上にスペーサを設け、スペーサの上に透明平行電極と直交するように他の透明平行電極（センサ・ワイヤ）を貼り合わせたものであり、最上層の透明平行電極が押圧されることにより透明電極同士が接触することで交点の座標が分かるようになっている。

赤外線式のタッチパネルは、赤外線のビームを縦横に走らせておき、指で遮光されたことを検知することで交点の座標が分かるようになっている。

超音波表面弾性波式のタッチパネルは、物体の表付近に集中して伝播する表面弾性波を利用したものである。

音響波式のタッチパネルは、タッチパネル表面に触れたことで発生る音響パルスがタッチパネルを伝わってくるのを検出し、信号解析によってタッチ位置を割り出すものである。

プロジェクテッド・キャパシティブ式のタッチパネルは、抵抗膜式と同様に縦横に電極が走っている点では同様であるが、抵抗膜のようにタッチされた場所が導通するのではなく、電極間の静電容量の変化をとらえるものである。

ＣＰＵ２は、座標検出部２ａ、ジェスチャー完了判断部２ｂ、ジェスチャー種類決定判断部２ｃ、及び案内表示タッチ判断部２ｄを有する機能を有し、例えばマイクロプロセッサが用いられる。

座標検出部２ａは、タッチパネル１の画面にタッチされた指の地点の座標を検出する機能である。
ジェスチャー完了判断部２ｂは、タッチパネル１に指がタッチされたまま移動することによるジェスチャーが完了したか否かを判断する機能部である。
ジェスチャー種類決定判断部２ｃは、タッチパネル１に指がタッチされたまま移動することによるジェスチャーの種類が、ページ送りか、回転か、拡大か、縮小か決定したか否かを判断する機能部である。
案内表示タッチ判断部２ｄは、タッチパネル１の画面に表示された案内表示がタッチされたか否かを判断する機能部である。

ＲＯＭ３は、ユーザインターフェース装置を統括制御する制御プログラムやジェスチャーのパターンのデータを格納するメモリである。

ＲＡＭ４は、タッチパネル１により入力された座標のデータを格納するメモリである。

Ｉ／Ｏポート５は、外部の電子機器、例えばパーソナルコンピュータと接続するためのポートであり、例えばＵＳＢ(Universal Serial Bus)やＲＳ２３２Ｃ等が用いられる。

＜動 作＞
次に、図２に示したユーザインターフェース装置の動作について図１を参照して説明する。
動作の主体は、ＣＰＵ２である。
まず、ＣＰＵ２は、タッチパネル１の画面に指がタッチされた地点の座標を検出する（ステップＳ１）。
ＣＰＵ２は、タッチパネル１の画面上の指がタッチされた地点の座標をＲＡＭ４に格納する（ステップＳ２）。
ＣＰＵ２は、座標履歴からジェスチャーを判断する（ステップＳ３）。
ＣＰＵ２は、ジェスチャーが完了したか否かを判断する（ステップＳ４）。
ＣＰＵ２は、ジェスチャーが完了したと判断した場合（ステップＳ４／Ｙ）、ジェスチャーの処理を実行し終了する（ステップＳ９）。

ＣＰＵ２は、ジェスチャーが完了していないと判断した場合（ステップＳ４／Ｎ）、ジェスチャーの種類が決まっているか否かを判断する（ステップＳ５）。
ＣＰＵ２は、ジェスチャーの種類が決まっていると判断した場合（ステップＳ５／Ｙ）、タッチパネル１の画面に案内軌跡を表示し（ステップＳ６）、ポイントとなる地点の案内をタッチパネル１の画面に表示する（ステップＳ７）。
ＣＰＵ２は、タッチパネル１の画面に表示された案内表示がタッチされたか否かを判断し（ステップＳ８）、案内表示がタッチされたと判断すると（ステップＳ８／Ｙ）、ジェスチャーの処理を実行し終了する（ステップＳ９）。
ＣＰＵ２は、タッチパネル１の画面上の案内表示がタッチされていないと判断した場合（ステップＳ８／Ｎ）、ステップＳ１に戻り、以下繰り返す。

＜プログラム＞
以上で説明した本発明にかかるユーザインターフェース装置は、コンピュータで処理を実行させるプログラムによって実現されている。コンピュータとしては、例えばマイクロプロセッサなどの汎用的なものが挙げられるが、本発明はこれに限定されるものではない。よって、一例として、プログラムにより本発明を実現する場合の説明を以下で行う。

プログラムとしては、コンピュータに、
(1)タッチパネルが、接触した指の動作がジェスチャーであるか否かを判断する手順、
(2)指の動作がジェスチャーである場合に、そのジェスチャーに対応づけられた軌跡に基づいてタッチパネルに案内軌跡を表示する手順、
(3)案内軌跡上に、ポイントとなる地点と、その地点まで操作したときに予想される結果とを表示する手順、
を実行させるプログラムが挙げられる。

これにより、プログラムが実行可能なコンピュータ環境さえあれば、どこにおいても本発明にかかるユーザインターフェース装置を実現することができる。
このようなプログラムは、コンピュータに読み取り可能な記憶媒体に記憶されていてもよい。

＜記憶媒体＞
ここで、記憶媒体としては、例えば、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（CD Recordable）、ＤＶＤ（Digital Versatile Disk）などのコンピュータで読み取り可能な記憶媒体、フラッシュメモリ、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＦｅＲＡＭ（強誘電体メモリ）等の半導体メモリやＨＤＤ（Hard Disc Drive）が挙げられる。

なお、上述した実施の形態は、本発明の好適な実施の形態の一例を示すものであり、本発明はそれに限定されることなく、その要旨を逸脱しない範囲内において、種々変形実施が可能である。

図３（ａ）、（ｂ）は、本発明に係るユーザインターフェース装置の制御方法の一実施例を示す説明図である。
タッチパネル１（図２参照）の画面１ａに写真（顔写真）が表示されている際にユーザが指（例えば右手人差し指）１０でタッチしたまま矢印１１方向になぞることにより（いわゆる、パン）、ジェスチャー種類決定判断部２ｃはユーザの操作をパンと判断し、画面１ａのページ送りが行われる（図３（ａ））。

指１０が画面１ａにタッチしたままなぞると、画面１ｂに切り替わると共に、案内表示としての撮影履歴１２が画面１ａ上に重畳表示される。この場合、指１０の位置は撮影履歴１２のうちの３月末頃であることが示されている。

画面１ａ上に案内表示が行われることにより、ユーザは、現在の写真がいつ頃撮影した写真で、目的の撮影日の写真を表示するために指をどの一まで動かせばよいかを把握することができ、また、撮影履歴１２の撮影月を直接タッチすることでその撮影月の写真を表示させることができ、従って操作性が向上する。

図４（ａ）、（ｂ）は、本発明に係るユーザインターフェース装置の制御方法の他の実施例を示す説明図である。
タッチパネル１の画面１ａに顔写真が横向きに表示されている場合に、ユーザが一方の指（例えば左手の指）１３で画面１ａの中央をタッチすると共に、他方の指（例えば右手の指）１０を画面１ａの上側をタッチしたまま（マルチタッチ）、矢印１４方向に移動すると、ジェスチャー種類決定判断部２ｃはユーザの操作を回転と判断し、回転に対応付けられた案内軌跡と、案内表示として回転後の縮小画像を表示する（図４（ａ））。
すなわち、タッチパネル１は、画面１ａ上に指１０の案内軌跡Ｔ１を表示し、更に案内軌跡Ｔ１上の、画面１ａの上側に現在の向きの縮小画像１ｂを表示し、
画面１ａの右側に９０度右回転した後の縮小画像（この場合、正立画像）１ｃを表示し、画面下側に１８０度回転した後の縮小画像１ｄを表示し、左側に２７０度回転した後の縮小画像（この場合、倒立画像）１ｅを表示する（図４（ｂ））。

ここで、指１３を固定し、指１０を案内軌跡Ｔ１上の目的の位置まで移動させた場合、移動させた位置の角度まで画像を回転させるが、画面１ａ上から指１０と指１３とを離したときに、一定時間（例えば、２〜３秒）案内表示１ｂ〜１ｅを表示したままにしておき、その間に指で再度画面１ａの案内表示１ｂ〜１ｅのいずれかをタッチすることにより選択され、その選択された状態の回転処理を行うように構成してもよい。

これらの案内表示により、ユーザは、指をどの位置まで回転させるとどのように表示されるかが把握することができ、また、縮小画像１ｂ・１ｃ・１ｄ・１ｅを直接タッチすることで、タッチした縮小画像の状態になるよう回転させることができ、従って操作性が向上する。

図５（ａ）、（ｂ）は、本発明に係るユーザインターフェース装置の制御方法の他の実施例を示す説明図である。
タッチパネル１の画面１ａに指１０と指１３とを同時に矢印１６、１７方向にほぼ同一速度で離れるように移動させると（図５（ａ））、ジェスチャー種類決定判断部２ｃはユーザの操作をズームと判断し、画面１ａに案内軌跡Ｔ２及び矩形状の枠線Ｌ１〜Ｌ３及び解説１８、１９が案内表示として表示される。
すなわち、枠線Ｌ１には「画面に収める」の解説表示が連動し、枠線Ｌ２は指１０、１３に連動し、枠線Ｌ３は「実寸大」の解説表示（ピクセル等倍）が連動し、指１０、１３を所望の大きさになるように動かすか、案内表示をタッチすることによりサイズが選択される。
ユーザは、案内表示に基づいて所望するサイズを選択することができるので、操作性が向上する。

図６（ａ）、（ｂ）は、本発明に係るユーザインターフェース装置の制御方法の他の実施例を示す説明図である。
図６（ａ）、（ｂ）に示した実施例の図５（ａ）、（ｂ）に示した実施例との相違点は、案内表示のうちの解説表示がアイコンである点である。
すなわち、アイコン２０が枠線Ｌ１に対応し、アイコン２１が枠線Ｌ３に対応している。
このように構成してもユーザは、案内表示に基づいて所望するサイズを選択することができるので、操作性が向上する。

図７（ａ）〜（ｃ）は、本発明に係るユーザインターフェース装置の制御方法の他の実施例を示す説明図である。
図７（ａ）〜（ｃ）に示した実施例の図５（ａ）、（ｂ）に示した実施例との相違点は、指１０、１３を同時に矢印１６、１７方向にほぼ同一速度で離れるように移動させる途中、指１０を固定したままさらに指１３を矢印２２方向に離れるように移動させる点である。
この場合には、両方の指の移動量の直近の割合を元に案内表示を行う。すなわち、指１０、１３を同時に移動している間は、指１０と指１３の移動する割合が同じため、枠線Ｌ１〜Ｌ３を図７（ｂ）のように、指１０と指１３とを同じ距離だけ移動させた場合の位置に表示し、指１０を停止すると共に指１３を移動させた場合、指１３のみが移動するため枠線Ｌ１〜Ｌ３を表示する位置を図７（ｃ）のように、指１３のみが移動した場合の位置に切り替える。
このように構成してもユーザは、案内表示に基づいて所望するサイズを選択することができるので、操作性が向上する。

以上において、本実施例によれば、移動量及び移動方向に応じた処理を行うジェスチャーで、どのくらいの量でどうなるのかの案内表示を行うことができる。
マルチタッチの際に、両方の指を移動する割合に応じた適切な案内を表示できる。
表示された案内を直接タッチしてそのポイント地点の結果となる処理を行うことができる。

１ タッチパネル
１ａ 画面
１ｂ〜１ｅ 縮小画像
２ ＣＰＵ
２ａ 座標検出部
２ｂ ジェスチャー完了判断部
２ｃ ジェスチャー種類決定判断部
２ｄ 案内表示タッチ判断部
３ ＲＯＭ
４ ＲＡＭ
５ Ｉ／Ｏポート
６ バスライン
１０、１３ 指
１１、１４、１６、１７、２２ 矢印
１２、１８、１９ 案内表示
２０、２１ アイコン
Ｌ１〜Ｌ４ 枠線
Ｔ１ 回転のジェスチャーに対応付けられた案内軌跡
Ｔ２ ズームのジェスチャーに対応付けられた案内軌跡

Claims (8)

1. 接触開始からの指の軌跡を検知するタッチパネルと、
   所定の規則性を有する前記指の軌跡であるジェスチャーと所定の処理との対応関係を記憶する記憶手段と、
   前記タッチパネルへの接触開始から接触終了までの指の軌跡が前記ジェスチャーの規則性に対応している場合に、接触終了地点に応じて定められるパラメータに従って前記所定の処理を実行する処理手段と、
   前記タッチパネルにより検知された接触開始からの指の軌跡が前記ジェスチャーの規則性に対応するか否かを判断し、対応する場合に、前記指の軌跡を前記規則性に従って延長した案内軌跡及び前記案内軌跡上の複数の地点で接触終了したときのそれぞれの予想処理結果を前記タッチパネルに表示するように制御する制御手段と、
   を備えたことを特徴とするユーザインターフェース装置。
2. 前記制御手段は、前記予想される結果を前記案内軌跡上の所定の近傍に表示することを特徴とする請求項１記載のユーザインターフェース装置。
3. タッチパネルに接触開始からの指の軌跡を検知し、所定の規則性を有する前記指の軌跡であるジェスチャーと所定の処理との対応関係を記憶し、前記タッチパネルへの接触開始から接触終了までの指の軌跡が前記ジェスチャーの規則性に対応している場合に、接触終了地点に応じて定められるパラメータに従って前記所定の処理を実行し、前記タッチパネルにより検知された接触開始からの指の軌跡が前記ジェスチャーの規則性に対応するか否かを判断し、対応する場合に、前記指の軌跡を前記規則性に従って延長した案内軌跡及び前記案内軌跡上の複数の地点で接触終了したときのそれぞれの予想処理結果を前記タッチパネルに表示することを特徴とするユーザインターフェースの制御方法。
4. 前記案内軌跡上の指の接触位置が変化した場合、直近の位置に基づいて予想される表示を変更することを特徴とする請求項３記載のユーザインターフェース装置の制御方法。
5. 前記指を前記タッチパネルから離した後、前記案内軌跡を一定時間表示するとともに、前記予想される結果が表示された前記地点を直接タッチした場合は、前記結果となる処理を行うことを特徴とする請求項３または４に記載のユーザインターフェース装置の制御方法。
6. 前記指が複数の場合に、前記各指の相対的な動作に応じて案内軌跡を表示することを特徴とする請求項３から５の何れか一項に記載のユーザインターフェース装置の制御方法。
7. 前記複数の指のうち１本目を固定して２本目を動作する場合には２本目の指に対して案内軌跡を表示することを特徴とする請求項６記載のユーザインターフェース装置の制御方法。
8. コンピュータに、
   タッチパネルが、接触開始からの指の軌跡を検知する手順、
   記憶手段が、所定の規則性を有する前記指の軌跡であるジェスチャーと所定の処理との対応関係を記憶する手順、
   処理手段が、前記タッチパネルへの接触開始から接触終了までの指の軌跡が前記ジェスチャーの規則性に対応している場合に、接触終了地点に応じて定められるパラメータに従って前記所定の処理を実行する手順、
   制御手段が、前記タッチパネルにより検知された接触開始からの指の軌跡が前記ジェスチャーの規則性に対応するか否かを判断し、対応する場合に、前記指の軌跡を前記規則性に従って延長した案内軌跡及び前記案内軌跡上の複数の地点で接触終了したときのそれぞれの予想処理結果を前記タッチパネルに表示するように制御する手順、
   を実行させることを特徴とするプログラム。

Images