JP2019050018A - Method for controlling display, information processor, and program - Google Patents
Method for controlling display, information processor, and program Download PDFInfo
- Publication number
- JP2019050018A JP2019050018A JP2018211420A JP2018211420A JP2019050018A JP 2019050018 A JP2019050018 A JP 2019050018A JP 2018211420 A JP2018211420 A JP 2018211420A JP 2018211420 A JP2018211420 A JP 2018211420A JP 2019050018 A JP2019050018 A JP 2019050018A
- Authority
- JP
- Japan
- Prior art keywords
- information
- display
- image
- information processing
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、表示制御方法、情報処理装置及びプログラムに関する。 The present invention relates to a display control method, an information processing apparatus and a program.
対象物（いわゆるオブジェクト）を三次元的に表示する技術には、１つの表示画面を用いる方法、立体的に配置された複数の表示画面を用いる方法、三次元ディスプレイを用いる方法等がある。 Techniques for three-dimensionally displaying an object (so-called object) include a method using one display screen, a method using a plurality of stereoscopically arranged display screens, and a method using a three-dimensional display.
現在、表示デバイスを有する機器に内蔵された加速度センサの出力は、オブジェクトの全体や全身の動きの制御等に用いられている。 Currently, the output of an acceleration sensor built in a device having a display device is used to control the movement of the entire object or whole body.
本発明は、位置情報とは異なる情報に応じて表示を異ならせることを目的とする。 An object of the present invention is to make display different according to information different from position information.
請求項１に記載の発明は、携帯型の表示装置が使用されている位置を示す位置情報を当該表示装置から取得し、前記位置情報に紐付いた、当該位置情報とは異なる第１の情報を前記表示装置とは異なる装置から取得し、前記表示装置に表示される、三次元で定義されたオブジェクトを１つの視点方向から表現した二次元画像を、取得された前記第１の情報に応じて異ならせるとともに、当該二次元画像を動画として表示させる、表示制御方法である。
請求項２に記載の発明は、前記表示装置に表示させる前記オブジェクトが形態を模する仮想の生物の画像は、少なくとも前記第１の情報と前記位置情報に連動して変化する、請求項１に記載の表示制御方法である。
請求項３に記載の発明は、前記第１の情報と前記位置情報の変化に連動して、前記仮想の生物の画像とは異なる仮想の生物の画像を前記表示装置に追加で表示させる、請求項２に記載の表示制御方法である。
請求項４に記載の発明は、前記第１の情報と前記位置情報に連動して、前記表示装置に表示させる前記オブジェクトが形態を模する仮想の生物の画像の数が異なる、請求項２に記載の表示制御方法である。
請求項５に記載の発明は、前記第１の情報が気象に関する情報であり、当該気象に関する情報を通じて気象の異常が通知される場合、前記二次元画像を異常の内容に応じた態様で表示する、請求項１〜４のいずれか１項に記載の表示制御方法である。
請求項６に記載の発明は、前記第１の情報を通じて気象の異常が通知される場合、警告情報を前記表示装置に表示する、請求項５に記載の表示制御方法である。
請求項７に記載の発明は、前記第１の情報が気象に関する情報である場合、当該気象に関する情報に応じ、前記二次元画像の表示上の変化の大小を変える、請求項１〜４のいずれか１項に記載の表示制御方法である。
請求項８に記載の発明は、前記二次元画像は、前記第１の情報に応じ、前記表示装置上で増加した後に減少する、請求項１〜４のいずれか１項に記載の表示制御方法である。
請求項９に記載の発明は、携帯型の表示装置が使用されている位置を示す位置情報を当該表示装置から取得し、当該位置情報に紐付いた、当該位置情報とは異なる第１の情報を当該表示装置とは異なる装置から取得し、当該表示装置に表示される、三次元で定義されたオブジェクトを１つの視点方向から表現した二次元画像を、取得された当該第１の情報に応じて異ならせるとともに、当該二次元画像を動画として表示させる表示制御手段を有する情報処理装置である。
請求項１０に記載の発明は、前記表示装置に表示させる前記オブジェクトが形態を模する仮想の生物の画像は、少なくとも前記第１の情報と前記位置情報に連動して変化する、請求項９に記載の情報処理装置である。
請求項１１に記載の発明は、前記第１の情報と前記位置情報の変化に連動して、前記仮想の生物の画像とは異なる仮想の生物の画像を前記表示装置に追加で表示させる、請求項１０に記載の情報処理装置である。
請求項１２に記載の発明は、前記第１の情報と前記位置情報に連動して、前記表示装置に表示させる前記オブジェクトが形態を模する前記仮想の生物の画像の数が異なる、請求項１０に記載の情報処理装置である。
請求項１３に記載の発明は、前記第１の情報が気象に関する情報であり、当該気象に関する情報を通じて気象の異常が通知される場合、前記表示制御手段は、前記二次元画像を異常の内容に応じた態様で表示する、請求項９〜１２のいずれか１項に記載の情報処理装置である。
請求項１４に記載の発明は、前記第１の情報を通じて気象の異常が通知される場合、前記表示制御手段は、警告情報を前記表示装置に表示する、請求項１３に記載の情報処理装置である。
請求項１５に記載の発明は、前記第１の情報が気象に関する情報である場合、前記表示制御手段は、当該気象に関する情報に応じ、前記二次元画像の表示上の変化の大小を変える、請求項９〜１２のいずれか１項に記載の情報処理装置である。
請求項１６に記載の発明は、前記表示制御手段は、前記第１の情報に応じ、前記二次元画像を前記表示装置上で増加させた後に減少させる、請求項９〜１２のいずれか１項に記載の情報処理装置である。
請求項１７に記載の発明は、コンピュータに、携帯型の表示装置が使用されている位置を示す位置情報を当該表示装置から取得し、当該位置情報に紐付いた、当該位置情報とは異なる第１の情報を当該表示装置とは異なる装置から取得し、当該表示装置に表示される、三次元で定義されたオブジェクトを１つの視点方向から表現した二次元画像を、取得された当該第１の情報に応じて異ならせるとともに、当該二次元画像を動画として表示させるためのプログラムである。
The invention according to
The invention according to
The invention according to
The invention according to
In the invention according to
The invention according to a sixth aspect is the display control method according to the fifth aspect, wherein when abnormal weather is notified through the first information, warning information is displayed on the display device.
The invention according to claim 7 changes the magnitude of the change in display of the two-dimensional image according to the information on the weather when the first information is the information on the weather. Or the display control method described in
The display control method according to any one of
The invention according to claim 9 acquires from the display device position information indicating a position at which a portable display device is used, and associates the first information different from the position information linked to the position information. According to the acquired first information, a two-dimensional image obtained from a device different from the display device and displayed on the display device and representing an object defined in three dimensions from one viewpoint direction is obtained It is an information processing apparatus having display control means for displaying the two-dimensional image as a moving image while making it different.
In the invention according to claim 10, the image of a virtual creature in which the object displayed on the display device simulates a form changes in conjunction with at least the first information and the position information. It is an information processor of a statement.
The invention according to
The invention according to
In the invention according to
The invention according to
The invention according to
The display control means may decrease the two-dimensional image after increasing it on the display device according to the first information. It is an information processor given in a.
The invention according to claim 17 is the computer according to the first, wherein position information indicating the position where the portable display device is used is acquired from the display device, and the position information is linked to the first position information different from the position information. Is acquired from a device different from the display device, and a two-dimensional image representing an object defined in three dimensions, which is displayed on the display device, is represented from one view direction, the acquired first information And a program for displaying the two-dimensional image as a moving image.
請求項１記載の発明によれば、位置情報とは異なる情報に応じて表示を異ならせることができる。
請求項２記載の発明によれば、位置情報とは異なる情報に応じて表示を異ならせることができる。
請求項３記載の発明によれば、位置情報とは異なる情報に応じて表示を異ならせることができる。
請求項４記載の発明によれば、位置情報とは異なる情報に応じて表示を異ならせることができる。
請求項５記載の発明によれば、位置情報とは異なる情報に応じて表示を異ならせることができる。
請求項６記載の発明によれば、位置情報とは異なる情報に応じて表示を異ならせることができる。
請求項７記載の発明によれば、位置情報とは異なる情報に応じて表示を異ならせることができる。
請求項８記載の発明によれば、位置情報とは異なる情報に応じて表示を異ならせることができる。
請求項９記載の発明によれば、位置情報とは異なる情報に応じて表示を異ならせることができる。
請求項１０記載の発明によれば、位置情報とは異なる情報に応じて表示を異ならせることができる。
請求項１１記載の発明によれば、位置情報とは異なる情報に応じて表示を異ならせることができる。
請求項１２記載の発明によれば、位置情報とは異なる情報に応じて表示を異ならせることができる。
請求項１３記載の発明によれば、位置情報とは異なる情報に応じて表示を異ならせることができる。
請求項１４記載の発明によれば、位置情報とは異なる情報に応じて表示を異ならせることができる。
請求項１５記載の発明によれば、位置情報とは異なる情報に応じて表示を異ならせることができる。
請求項１６記載の発明によれば、位置情報とは異なる情報に応じて表示を異ならせることができる。
請求項１７記載の発明によれば、位置情報とは異なる情報に応じて表示を異ならせることができる。
According to the first aspect of the present invention, the display can be made different depending on the information different from the position information.
According to the second aspect of the invention, the display can be made different according to the information different from the position information.
According to the third aspect of the present invention, the display can be made different depending on the information different from the position information.
According to the fourth aspect of the present invention, the display can be made different depending on the information different from the position information.
According to the fifth aspect of the present invention, the display can be made different depending on the information different from the position information.
According to the sixth aspect of the present invention, the display can be made different depending on the information different from the position information.
According to the seventh aspect of the present invention, the display can be made different according to the information different from the position information.
According to the eighth aspect of the present invention, the display can be made different depending on the information different from the position information.
According to the ninth aspect of the present invention, the display can be made different according to the information different from the position information.
According to the tenth aspect of the present invention, the display can be made different according to the information different from the position information.
According to the invention of
According to the invention of
According to the invention as set forth in
According to the invention of
According to the fifteenth aspect of the invention, the display can be made different depending on the information different from the position information.
According to the sixteenth aspect of the present invention, the display can be made different according to the information different from the position information.
According to the seventeenth aspect of the present invention, the display can be made different depending on the information different from the position information.
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the attached drawings.
＜用語＞
以下で説明する実施の形態で、対象物（以下「オブジェクト」という）を三次元的に表示するという場合、１つの表示画面、立体的に配置された複数の表示画面、いわゆる三次元ディスプレイなどを用いて、奥行情報を含む形態で表示する意味で使用する。
このうち、１つの表示画面を用いる方法には、実空間に存在するオブジェクトを実際に撮影して得た二次元画像（遠近情報を含む画像）を表示する場合、三次元空間で定義されたオブジェクトを１つの視点方向から表現した二次元画像を表示する場合などが含まれる。ここで、三次元空間で定義されたオブジェクトの例には、仮想空間上のキャラクター、断層画像から再構成された三次元画像などが含まれる。
<Term>
In the embodiment described below, when displaying an object (hereinafter referred to as “object”) in a three-dimensional manner, one display screen, a plurality of three-dimensionally arranged display screens, a so-called three-dimensional display, etc. Used in the sense of displaying in a form that includes depth information.
Among them, in the method of using one display screen, when displaying a two-dimensional image (image including perspective information) obtained by actually photographing an object existing in real space, an object defined in three-dimensional space For example, the case of displaying a two-dimensional image in which the image is expressed from one viewpoint direction is included. Here, examples of an object defined in a three-dimensional space include characters in a virtual space, a three-dimensional image reconstructed from a tomographic image, and the like.
また、立体的に配置した複数の表示画面を用いる方法には、三次元空間で定義されたオブジェクトを複数の視点方向（表示画面の配置位置に対応する）から観察した複数の二次元画像を各表示画面に表示する場合などが含まれる。
また、三次元ディスプレイを用いる方法には、観察者に特別な光学特性を有する眼鏡の着用を要求する眼鏡式、特別な眼鏡の着用を必要としない裸眼式、ヘッドマウントディスプレイを観察者の頭部に装着させる方式などが含まれる。裸眼式の例には、収束されたレーザー光の焦点に位置する空気がプラズマ化して発光する現象を利用する手法がある。
もっとも、オブジェクトを三次元的に表現できればよいので、オブジェクトに対応する情報は、内部情報（ボリュームデータを定義するボクセル）の存在を必須とするものではなく、例えば多面形状で定義された表面（ポリゴンメッシュ）の集合体として与えられてもよい。
Further, in the method using a plurality of display screens arranged in a three-dimensional manner, a plurality of two-dimensional images obtained by observing an object defined in a three-dimensional space from a plurality of viewing directions (corresponding to the arrangement position of the display screen) It includes the case of displaying on the display screen.
In addition, the method of using a three-dimensional display includes a glasses type requiring the observer to wear glasses having special optical characteristics, an naked-eye type not requiring the wearing of special glasses, and a head mounted display And the like. An example of the naked-eye type is a method utilizing a phenomenon in which air located at the focal point of focused laser light is converted to plasma and emitted.
However, since it is only necessary to be able to represent an object three-dimensionally, the information corresponding to the object does not necessarily require the presence of internal information (voxels defining volume data), and for example, a surface (polygon May be given as a collection of meshes).
以下で説明する実施の形態では、オブジェクトを二次元的に表示するとは、１つの表示画面、立体的に配置された複数の表示画面、いわゆる三次元ディスプレイなどを用いて、奥行情報を含まない形態でオブジェクトを表示する意味で使用する。
本実施の形態では、三次元空間で定義されたオブジェクトを三次元オブジェクトといい、二次元空間で定義されたオブジェクトを二次元オブジェクトという。
三次元的な表示は、立体的に配置された複数の表示装置にそれぞれ対応する二次元オブジェクトを表示することによっても可能である。
本実施の形態におけるオブジェクトは静止画像として表示される場合だけでなく動画像として表示されてもよい。
In the embodiment described below, displaying an object in two dimensions means using a single display screen, a plurality of stereoscopically arranged display screens, a so-called three-dimensional display, etc., without including depth information. Used in the sense of displaying the object in.
In the present embodiment, an object defined in a three-dimensional space is called a three-dimensional object, and an object defined in a two-dimensional space is called a two-dimensional object.
Three-dimensional display is also possible by displaying two-dimensional objects respectively corresponding to a plurality of three-dimensionally arranged display devices.
The object in the present embodiment may be displayed not only as a still image but also as a moving image.
＜実施の形態１＞
＜装置構成＞
図１は、実施の形態１に係る情報処理装置１の外観例を示す図である。
実施の形態１における情報処理装置１は、例えばタブレット型のコンピュータやスマートフォンなどの携帯型の情報端末を想定する。
図１に示す情報処理装置１は、６つの面の全てが平面であり、そのうちの１つの面に表示部２が配置されている。ただし、情報処理装置１は、必ずしも全ての面が平面であるとは限らない。換言すると、一部の面は曲面でも構わない。
図１の例では、表示部２が設けられている面を正面といい、表示部２の左右に位置する面を側面といい、表示部２と反対側の面を背面又は裏面という。また、表示部２の上側に位置する面を上面といい、下側に位置する面を底面という。
<Device configuration>
FIG. 1 is a view showing an example of the appearance of the
The
In the
In the example of FIG. 1, the surface provided with the
図１に示す情報処理装置１の場合、正面側の形状は、Ｚ方向の長さ（高さ）ＨがＸ方向の長さ（幅）Ｗよりも長い長方形状である。また、情報処理装置１の側面を規定するＹ方向の長さ（奥行）Ｄは、Ｘ方向の長さ（幅）Ｗよりも短い。
表示部２は、液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイなどの薄膜ディスプレイで構成される。なお、液晶ディスプレイの場合には、不図示の光源も配置される。
情報処理装置１の筐体内には、表示部２を含む各部の動作を制御する制御部３や不図示の部品が内蔵されている。
In the case of the
The
In a housing of the
図２は、平面型のセンサの配置例を説明する図である。
図２には、位置検知センサ４、圧力検知センサ５、捻じれ検知センサ６が示されている。
位置検知センサ４は、ユーザによる操作入力の位置を検知するセンサであり、表示部２の上面に積層される。位置検知センサ４に表示部２を組み合わせた電子デバイスはタッチパネルと呼ばれる。
位置検知センサ４は検知部の一例であり、検知に用いる方式により検知可能な対象物が異なる。例えば検知に静電容量式を用いる場合には人体の一部（例えば指先）が検知可能な対象物となる。例えば検知に赤外線方式を用いる場合には、指先だけでなくペンその他の物体が検知可能な対象物となる。
位置検知センサ４は、検知した対象物の座標を出力する。実施の形態１に係る位置検知センサ４は、複数の操作位置を一度に検知することができる。
FIG. 2 is a view for explaining an arrangement example of a flat type sensor.
The
The
The
The
圧力検知センサ５は、操作入力の際に操作位置に加わった圧力の大きさを検知するセンサであり、例えば表示部２の裏面側に配置される。
本実施の形態における圧力検知センサ５は容量性の圧力センサであり、フィルム状に形成されたセンサ本体に生じた撓みの大きさを圧力の大きさとして検知する。本実施の形態の場合、圧力検知センサ５は、数段階の圧力の違いを検知できる。
捻じれ検知センサ６は、センサ本体に生じた捻じれの大きさを検知するセンサであり、表示部２の裏面側に配置される。
本実施の形態における捻じれ検知センサ６には、例えば株式会社村田製作所により開発されている、ポリ乳酸のずり圧電性を応用した変位センサを使用する。本実施の形態の場合、捻じれ検知センサ６は、捻じれの方向と大きさを検知できる。捻じれは、一般的には直接的な部位の特定を伴わない物理量の一例である。
ここでの位置検知センサ４、圧力検知センサ５、捻じれ検知センサ６は、いずれも検知部の一例である。
The
The
The twisting
For the
The
図３は、他のセンサの配置例を説明する図である。
図３に示す情報処理装置１の場合、筐体内部には、側面の下部に局所的に加わった圧力の大きさを検知する圧力検知センサ７Ａ、７Ｂ、本体に加わった加速度の向きと大きさを検知する加速度検知センサ８、温度を検知する温度検知センサ９Ａ、９Ｂ、９Ｃ、湿度を検知する湿度検知センサ１０Ａ、１０Ｂ、１０Ｃを有している。
温度検知センサと湿度検知センサはいずれも１つであってもよい。
本実施の形態における圧力検知センサ７Ａ、７Ｂは、情報処理装置１の側面に加えられた圧力の大きさを数段階で検知することができる。
FIG. 3 is a view for explaining another arrangement example of sensors.
In the case of the
Both the temperature detection sensor and the humidity detection sensor may be one.
The
温度検知センサ９Ａ、９Ｂ、９Ｃは、情報処理装置１が使用される空間の温度（気温）の検知だけでなく、局所的な温度の検知にも使用される。温度は、一般的には直接的な部位の特定を伴わない物理量の一例である。
湿度検知センサ１０Ａ、１０Ｂ、１０Ｃは、情報処理装置１が使用される空間の湿度だけでなく、局所的な湿度の検知にも使用される。湿度は、一般的には直接的な部位の特定を伴わない物理量の一例である。
ここでの圧力検知センサ７Ａ、７Ｂ、加速度検知センサ８、温度検知センサ９Ａ、９Ｂ、９Ｃ、湿度検知センサ１０Ａ、１０Ｂ、１０Ｃは、いずれも検知部の一例である。
The
The
The
図４は、情報処理装置１のハードウェア構成例を説明する図である。
本実施の形態における情報処理装置１は、前述したデバイスに加え、データの保存に使用される不揮発性の主記憶装置１４と通信部１５を有している。これらのデバイスは、バス１６を通じてデータを受け渡しする。
なお、制御部３は、データ処理を実行するＣＰＵ（Central Processing Unit）１１と、ＢＩＯＳ（Basic Input / Output System）やファームウェアなどのプログラム等を記憶するＲＯＭ（Read Only Memory）１２と、作業エリアとして用いられるＲＡＭ（Random Access Memory）１３を有している。
FIG. 4 is a diagram for explaining an example of the hardware configuration of the
The
The
本実施の形態における主記憶装置１４は、例えば半導体メモリやハードディスク装置で構成される。
通信部１５は、外部装置との通信に使用される通信手段である。通信に使用する方式は様々である。なお、通信経路は、有線路でも無線路でも構わない。
The
The
図５は、実施の形態１に係る制御部３の機能構成の一例を説明する図である。
図５に示す機能構成は、プログラムの実行を通じて実現される。
実施の形態１における制御部３は、圧力の強度を特定する圧力強度特定部２１と、圧力が加えられた部位を特定する圧力部位特定部２２と、操作位置を特定する操作位置特定部２３と、温度を特定する温度特定部２４と、湿度を特定する湿度特定部２５と、加速度の方向を特定する加速度方向特定部２６と、加速度の強度を特定する加速度強度特定部２７と、捻じれの方向と強度を特定する捻じれ特定部２８と、特定された情報を用いて表示内容を決定する表示内容決定部２９として機能する。
ここでの表示内容決定部２９は表示制御部の一例である。
FIG. 5 is a diagram for explaining an example of a functional configuration of the
The functional configuration shown in FIG. 5 is realized through the execution of a program.
The
The display
圧力強度特定部２１には、正面側に配置された圧力検知センサ５から出力される圧力値と、側面側に配置された２つの圧力検知センサ７Ａ、７Ｂから出力される圧力値とが入力され、予め用意された閾値との比較により各位置に加えられた圧力の強度を出力する。
圧力部位特定部２２は、側面側に配置された圧力検知センサ７Ａ、７Ｂから圧力値が入力されている場合、ユーザの操作によって圧力が加えられている位置は側面であると特定する。一方、圧力部位特定部２２は、位置検知センサ４から操作座標が入力されている場合、ユーザの操作によって圧力が加えられている位置は正面であると特定する。本実施の形態の場合、圧力部位特定部２２を操作位置特定部２３とは別に設けているが、操作位置特定部２３と兼用してもよい。
A pressure value output from the
When the pressure value is input from the
操作位置特定部２３は、側面側に配置された圧力検知センサ７Ａ、７Ｂから圧力値が入力されている場合、ユーザは側面を操作していると特定し、位置検知センサ４から操作座標が入力されている場合、ユーザは操作座標で与えられる位置を操作していると特定する。操作位置特定部２３は、各時刻の操作位置だけでなく、時間の経過に伴う操作位置の軌跡も特定する。本実施の形態における操作位置特定部２３は、複数の操作位置も一度に検知できる。
When the pressure value is input from the
温度特定部２４は、温度検知センサ９Ａ、９Ｂ、９Ｃから入力される温度値に基づいて、各部位の温度、温度の分布、時間変化などを特定する。
湿度特定部２５は、湿度検知センサ１０Ａ、１０Ｂ、１０Ｃから入力される湿度値に基づいて、各部位の湿度、湿度の分布、時間変化などを特定する。
加速度方向特定部２６は、加速度検知センサ８から入力される加速度情報に基づいて、筐体に作用した加速度の方向やその時間変化を特定する。
加速度強度特定部２７は、加速度検知センサ８から入力される加速度情報に基づいて、筐体に作用した加速度の大きさ（強度）やその時間変化を特定する。
捻じれ特定部２８は、捻じれ検知センサ６の出力に基づいて、筐体に生じた捻じれの向きや大きさを特定する。
The
The
The acceleration
The acceleration
The
表示内容決定部２９は、前述した各特定部からの情報に基づいて、表示部２に三次元的に表示されるオブジェクトの表示に変化を与える。具体的な変化の内容については後述する。
なお、筐体に設けられるセンサの種類や配置により、検知対象とする物理量は異なる。
因みに、前述したセンサを全て筐体に設ける必要はない。
The display
The physical quantity to be detected differs depending on the type and arrangement of the sensors provided in the housing.
By the way, it is not necessary to provide all the sensors described above in the housing.
＜表示制御の例＞
以下では、実施の形態１に係る表示内容決定部２９がセンサ入力を用いて実行する制御動作の例を説明する。
<Example of display control>
Hereinafter, an example of a control operation performed by the display
図６は、情報処理装置１の表示部２に表示される三次元オブジェクトの表示例を説明する図である。
図６に示す三次元オブジェクトはヒト型のキャラクター３０を表しており、三次元的な表示の一例である。
図７は、三次元オブジェクトとしてキャラクター３０が表示されている場合において、情報処理装置１の上面に加速度（衝撃）が加えられた場合の表示の変化を説明する図である。ここでの加速度（衝撃）は、一般的には直接的な部位の特定を伴わない物理量の一例である。
図７に示す例では、時刻ｔ１において、情報処理装置１に対して下向き（−Ｚ方向）に加速度が加えられた場合を示している。この事象は、例えば情報処理装置１の上面に衝撃が与えられた場合に、加速度方向特定部２６（図５参照）により特定される。
FIG. 6 is a view for explaining a display example of a three-dimensional object displayed on the
The three-dimensional object shown in FIG. 6 represents a human-shaped
FIG. 7 is a diagram for explaining a change in display when acceleration (impact) is applied to the upper surface of the
The example shown in FIG. 7 shows the case where acceleration is applied downward (in the -Z direction) to the
このとき、表示内容決定部２９（図５参照）は、特定された加速度の方向の情報に基づいて、三次元オブジェクトのどの部位に外力が作用するかを特定する。
図７の例では、キャラクター３０の頭部の位置が他の部位よりも高い。このため、表示内容決定部２９は、キャラクター３０の頭部に外力が作用すると特定する。
なお、時刻ｔ１では、加速度の大きさも加速度強度特定部２７（図５参照）により特定される。加速度強度特定部２７は、加速度検知センサ８（図４参照）から入力される数値と閾値とを比較し、情報処理装置１に作用した外力の強度を特定する。
At this time, the display content determination unit 29 (see FIG. 5) specifies which part of the three-dimensional object the external force acts on, based on the specified information on the direction of the acceleration.
In the example of FIG. 7, the position of the head of the
At time t1, the magnitude of the acceleration is also specified by the acceleration intensity specifying unit 27 (see FIG. 5). The acceleration
特定された加速度の強度が弱い場合、表示内容決定部２９は、時刻ｔ２（＞ｔ１）における表示内容を、頭部から少量の血３１が流れる内容に変化させる。ここでの頭部は、特定の部位の一例である。なお、特定の部位は１つである必要はなく、複数でもよい。また、特定の部位は、基本的に三次元オブジェクトの一部分をいう。
一方、特定された加速度の強度が強い場合、表示内容決定部２９は、時刻ｔ２（＞ｔ１）における表示内容を、加速度の強度が弱い場合よりも多くの血３２が頭部から流れる内容に変化させる。
When the intensity of the identified acceleration is weak, the display
On the other hand, when the intensity of the identified acceleration is strong, the display
図７の例では、加速度の検知をきっかけとして、キャラクター３０の頭部から血が流れる内容に表示が変化しているが、外力が作用した部位に青あざ（内出血）を表示してもよい。この際、作用した外力の強度に応じて青あざの面積を変化させてもよい。
この他、外力が作用した部位にたんこぶを表示してもよい。この際、作用した外力の強度に応じてたんこぶの大きさを変化させてもよい。
また、図７の例では、情報処理装置１に作用した加速度の向きに対して位置が高い部位の例としてキャラクター３０の頭が特定されているが、加速度の向きが表示部２の左右方向である場合には表示に変化を与える部位としてキャラクター３０の腕が特定されてもよい。
また、図７の例では、三次元オブジェクトの例としてヒト型のキャラクターを３０を想定しているが、例えば構造体でもよい。構造体の場合、特定された強度の大きさに応じた傷やヒビ割れが生じる表示に変化させてもよい。
In the example of FIG. 7, the display changes to the content where blood flows from the head of the
In addition to this, a bump may be displayed at a site where an external force is applied. At this time, the size of the bump may be changed according to the strength of the applied external force.
Further, in the example of FIG. 7, although the head of the
Further, in the example of FIG. 7, a human-shaped character of 30 is assumed as an example of the three-dimensional object, but it may be, for example, a structure. In the case of a structure, it may be changed to a display in which a scratch or a crack occurs depending on the magnitude of the specified strength.
図８は、三次元オブジェクトとしてキャラクター３０が表示されている場合において、情報処理装置１の上面に加速度（衝撃）が継続的に加えられる場合の表示の変化を説明する図である。
継続的に加速度（衝撃）を加える方法には、情報処理装置１で他の物体を叩く、他の物体で情報処理装置１を叩く、情報処理装置１を把持したまま振るなどの方法がある。図８に示す例では、ユーザが、情報処理装置１の端面（上面）を指などで継続的に叩く場合を想定している。
このため、図８に示す棒グラフの横軸は時間を示し、縦軸は各時刻に与えられた衝撃の回数を示している。
なお、図８に示す例とは異なり、表示されている画像の一部分を指先で叩くことで、特定の部位に対して加速度（衝撃）を加えてもよい。この場合、加速度（衝撃）が加えられる位置は、位置検知センサ４（図４参照）によって特定されることになる。加速度の大きさについては、加速度検知センサ８（図４参照）が検知する。
FIG. 8 is a diagram for explaining a change in display when acceleration (impact) is continuously applied to the upper surface of the
As a method of continuously applying acceleration (impact), there are methods such as hitting another object with the
For this reason, the horizontal axis of the bar graph shown in FIG. 8 shows time, and the vertical axis shows the number of impacts given at each time.
Note that, unlike the example shown in FIG. 8, an acceleration (impact) may be applied to a specific part by tapping a part of the displayed image with a fingertip. In this case, the position where acceleration (impact) is applied is specified by the position detection sensor 4 (see FIG. 4). The acceleration detection sensor 8 (see FIG. 4) detects the magnitude of the acceleration.
図８の例では、時刻ｔ１からｔ２にかけて衝撃の回数が増加し、その後、減少している。個々の衝撃の強さは等しいとは限らないが、一般には、特定の部位に作用する衝撃の累積強度は衝撃の回数に比例する。もっとも、１回の衝撃の強さが「２」で表される場合の５回の累積強度と１回の衝撃の強さが「５」で表される場合の２回の累積強度は同じである。
このため、図８の例では、時刻ｔ１からｔ２にかけて血３３が流れる面積が増加し、衝撃の回数が減少に転じた時刻ｔ２以降はキャラクター３０の頭部に流れる血３３の面積も縮小し（時刻ｔ３）、やがて無くなっている（時刻ｔ４）。
なお、ここでの累積強度は複数回の検知結果の累積値の一例である。
In the example of FIG. 8, the number of impacts increases from time t1 to t2, and then decreases. Although the strength of individual impacts is not always equal, in general, the cumulative strength of impacts acting on a specific site is proportional to the number of impacts. However, when the strength of one impact is represented by "2", the accumulated strength of 5 times is the same as when the intensity of one impact is represented by "5". is there.
Therefore, in the example of FIG. 8, the area through which the
The accumulated intensity here is an example of the accumulated value of the detection results of a plurality of times.
図９は、三次元オブジェクトとして構造体３４が表示されている場合において、情報処理装置１の上面に加速度（衝撃）が継続的に加えられた場合の表示の変化を説明する図である。
図９では、構造体３４が円柱である場合について表している。
図９に示す例の場合も、時刻ｔ１において、情報処理装置１に対して下向き（−Ｚ方向）に加速度が加えられている。この時刻で、情報処理装置１の表示は、円柱の上面に傷３５が形成され、円柱の内部にひび割れ３６が成長する内容に変化する。なお、図９では説明のために内部に生じたひび割れ３６を破線で記しているが、情報処理装置１には外部から観察可能な傷３５だけを表示してもよい。
FIG. 9 is a diagram for explaining a change in display when acceleration (impact) is continuously applied to the upper surface of the
FIG. 9 shows the case where the
Also in the case of the example shown in FIG. 9, the acceleration is applied downward (in the −Z direction) to the
図９では、時刻ｔ２（ｔ２＞ｔ１）でも、情報処理装置１の上面に引き続き加速度（衝撃）が加えられている。時刻ｔ２に加えられた加速度の大きさは、時刻ｔ１に加えられた加速度の大きさと同じでも異なってもよい。
時刻ｔ２の表示では、時刻ｔ１の表示よりも傷３５の幅が広がり、ひび割れ３６が深さ方向に成長している。
さらに、時刻ｔ３（ｔ３＞ｔ２）でも、情報処理装置１の上面に引き続き加速度（衝撃）が加えられている。時刻ｔ３に加えられた加速度の大きさは、時刻ｔ１や時刻ｔ２に加えられた加速度と同じ大きさでも異なる大きさでもよい。
時刻ｔ３の表示では、時刻ｔ２の表示よりも更に傷３５の幅が広がり、ひび割れ３６も更に深くなっている。
In FIG. 9, acceleration (impact) is continuously applied to the upper surface of the
In the display at time t2, the width of the
Furthermore, at time t3 (t3> t2), the acceleration (impact) is continuously applied to the upper surface of the
In the display at time t3, the width of the
図１０は、三次元オブジェクトとしてキャラクター３０が表示されている場合において、キャラクター３０の頭部に圧力が加えられた場合の表示の変化を説明する図である。
図１０に示す例では、時刻ｔ１において、情報処理装置１の正面側から背面側（Ｙ方向）に圧力が加えられた場合を示している。
このときの圧力が作用した位置は、位置検知センサ４（図４参照）からの出力信号を入力する圧力部位特定部２２（図５参照）により特定される。圧力が加えられる位置と指先３７が接触している位置は同じであるためである。
FIG. 10 is a diagram for explaining a change in display when pressure is applied to the head of the
In the example shown in FIG. 10, a case where pressure is applied from the front side to the back side (Y direction) of the
The position where the pressure is applied at this time is specified by the pressure part specifying part 22 (refer to FIG. 5) which receives the output signal from the position detection sensor 4 (refer to FIG. 4). This is because the position where the pressure is applied and the position where the
この際の圧力の強度は、圧力検知センサ５（図４参照）からの出力信号を入力する圧力強度特定部２１（図５参照）により特定される。圧力強度特定部２１は、圧力検知センサ５から入力される数値を予め定めた閾値と比較し、情報処理装置１に作用した圧力の強度を特定する。強度は数段階で特定される。
特定された圧力の強度が弱い場合、表示内容決定部２９は、時刻ｔ２（ｔ２＞ｔ１）における表示内容を、頭部から少量の血３１が流れる内容に変化させる。
一方、特定された圧力の強度が強い場合、表示内容決定部２９は、時刻ｔ２における表示内容を、加速度の強度が弱い場合よりも多くの血３２が頭部から流れる内容に変化させる。
この例の場合、表示に変化を与える部位をユーザが直接特定することができる。また、この例の場合、圧力の大きさに応じて特定の部位に与える変化の量を調整できる。
The strength of the pressure at this time is specified by the pressure strength specifying unit 21 (refer to FIG. 5) that receives the output signal from the pressure detection sensor 5 (refer to FIG. 4). The pressure
When the strength of the specified pressure is weak, the display
On the other hand, when the strength of the specified pressure is strong, the display
In the case of this example, the user can directly specify a site that causes a change in display. Also, in this case, the amount of change given to a specific site can be adjusted according to the magnitude of pressure.
なお、図１０では、表示部２に表示されているキャラクター３０の表示位置のうち圧力が加えられた位置を圧力検知センサ５の出力を用いて特定しているが、局所的な圧力を検知するために用意されている圧力検知センサ７Ａ、７Ｂ（図３参照）からの出力を用いてキャラクター３０の表示に変化を与える部位を特定してもよい。
例えば情報処理装置１の左右側面の下部に位置する圧力検知センサ７Ａ、７Ｂで圧力が検知された場合、検知された圧力の強度に応じて、図１０と同じく、頭部から血を流してもよいし、他の部位、例えば手、足、胸などの表示に変化を与えてもよい。
このように圧力検知センサ７Ａ、７Ｂの出力値を用いる場合、変化を与える部位を予め表示内容決定部２９に設定してもよい。
In FIG. 10, among the display positions of the
For example, when the pressure is detected by the
Thus, when using the output value of
図１１は、三次元オブジェクトとしてキャラクター３０が表示されている場合において、キャラクター３０の頭部に指先３７によって圧力が継続的に加えられた場合の表示の変化を説明する図である。
勿論、圧力は指先以外の物体、例えばペン先を用いて加えてもよい。また、指先３７は、表示部２の表面に接触し続ける必要はなく、加速度（衝撃）を加える例の場合のように、特定の部位を断続的に叩いてもよい。
図１１に示す例では、時刻ｔ１〜ｔ３の間、キャラクター３０の頭部が指先３７で押さえ付けられたままである。この場合、表示内容決定部２９は、頭部からの出血が続いているものとして判断し、時刻ｔ２では血３１の画像を頭部に追加し、時刻ｔ３では血３２の面積を拡大している。
ここで、出血量は圧力の大きさに比例してもよい。例えば圧力が大きい場合には出血量が多いと判定し、圧力が小さい場合には出血量が小さいと判定してもよい。もっとも、圧力の大きさとは関係なく、予め定めた閾値を超える圧力が加えられている時間の長さに比例して出血量を増減してもよい。
FIG. 11 is a diagram for explaining a change in display when pressure is continuously applied to the head of the
Of course, pressure may be applied using an object other than a fingertip, such as a pen tip. Further, the
In the example shown in FIG. 11, the head of the
Here, the amount of bleeding may be proportional to the magnitude of pressure. For example, when the pressure is large, it may be determined that the amount of bleeding is large, and when the pressure is small, it may be determined that the amount of bleeding is small. However, regardless of the magnitude of the pressure, the amount of bleeding may be increased or decreased in proportion to the length of time during which the pressure exceeds a predetermined threshold.
前述の例では、表示部２に表示されている三次元オブジェクトの違いにより、画面上に生じる変化が出血又は傷（ひび割れ）である場合について説明したが、外力が作用する部位に応じて変化の内容が異なっていてもよい。なお、変化は、例えば表示の追加、削除、変形、分割など、特定の部位の表示の形態を変える内容であればよい。
図１２は、三次元オブジェクトとしてキャラクター３０が表示されている場合において、キャラクター３０の胸部に圧力が加えられた場合の表示の変化を説明する図である。
図１２に示す例では、時刻ｔ１において、頭部ではなく胸部が指先３７で押されている。この例では、胸部に加えられた圧力の強度の違いにより衣服に変化を与えている。
特定された圧力の強度が弱い場合、表示内容決定部２９は、時刻ｔ２（ｔ２＞ｔ１）におけるキャラクター３０の衣服がめくれた画像やよじれた画像に変化させる。
一方、特定された圧力の強度が強い場合、表示内容決定部２９は、時刻ｔ２におけるキャラクター３０の衣服が破れた画像に変化させる。
また例えば特定された圧力の強弱によって、着せ替える衣服の種類や内容を変化させてもよい。
In the above-described example, the case where the change generated on the screen is bleeding or a crack (crack) due to the difference of the three-dimensional object displayed on the
FIG. 12 is a diagram for explaining a change in display when pressure is applied to the chest of the
In the example shown in FIG. 12, the chest, not the head, is pushed by the
If the strength of the specified pressure is weak, the display
On the other hand, when the strength of the specified pressure is strong, the display
Further, for example, the type and content of the clothes to be changed may be changed according to the strength of the specified pressure.
図１３は、三次元オブジェクトとして構造体３４が表示されている場合において、情報処理装置１に対してねじりが加えられた場合の表示の変化を説明する図である。
図１３では、構造体３４として円柱を示している。円柱の外周面には縦縞を付している。縦縞は、回転対称である円柱の軸方向に対して平行である。
図１３に示す例では、平板状の情報処理装置１の上部に反時計回りの力を作用させる一方、情報処理装置１の下部には時計回りの力を作用させている。すなわち、図１３では、情報処理装置１の上部側と下部側とで逆向きの力を作用させている。
このとき、情報処理装置１に作用する捻じれの向きと大きさは、捻じれ特定部２８（図５参照）から表示内容決定部２９に与えられる。
表示内容決定部２９は、時刻ｔ１で特定された捻じれの向きと大きさに応じて構造体３４に捻じりを加えた画像を生成し、表示部２に表示する。
FIG. 13 is a diagram for explaining a change in display when a twist is applied to the
In FIG. 13, a cylinder is shown as the
In the example shown in FIG. 13, a counterclockwise force is applied to the upper part of the flat-plate-like
At this time, the direction and the size of the twist acting on the
The display
図１３の例では、情報処理装置１に捻じりが加えられている時刻ｔ１ではなく、捻じりが終わった時刻ｔ２において構造体３４に変化を加えている。もっとも、捻じりが加えられている時刻ｔ１に、構造体３４の表示を変化させてもよい。
なお、図１３の例では、変化の内容を情報処理装置１に加えられた捻じりの操作と連動させているが、特定された捻じりの方向と大きさの情報を用いて表示対象である三次元オブジェクトに他の変化を与えてもよい。例えば表示部２に表示されているキャラクターを出血させたり、傷を与えたり、衣服を変化させたりしてもよい。
In the example of FIG. 13, the
In the example of FIG. 13, the content of the change is linked to the operation of twisting applied to the
図１４は、三次元オブジェクトとしてキャラクター３０が表示されている場合において、温度検知センサ９Ａ、９Ｂ、９Ｃ（図３参照）を通じて温度の変化が検知された場合の表示の変化を説明する図である。
この例の場合、表示内容決定部２９は、特定された温度を予め定めた閾値と比較した結果や複数の温度検知センサ９Ａ、９Ｂ、９Ｃで検出された温度の分布の情報に基づいて、表示されているキャラクター３０の特定の部位に変化を与える。
FIG. 14 is a diagram for explaining a change in display when a change in temperature is detected through the
In the case of this example, the display
例えば時刻ｔ１で検出された情報処理装置１の周囲の気温が予め定めた閾値より低い場合、表示内容決定部２９は、時刻ｔ２における表示の内容をキャラクター３０の首にマフラー３８を巻きつけた状態に変化させる。ここでのキャラクター３０の首は特定の部位の一例である。
例えば時刻ｔ１で検出された情報処理装置１の周囲の気温が予め定めた閾値より高い場合、表示内容決定部２９は、時刻ｔ２における表示の内容をキャラクター３０の額に汗３９が流れる状態に変化させる。ここでのキャラクター３０の額は特定の部位の一例である。
For example, when the ambient temperature around the
For example, when the ambient temperature around the
図１５は、三次元オブジェクトとして氷４０が表示されている場合において、温度検知センサ９Ａ、９Ｂ、９Ｃ（図３参照）を通じて温度変化が検知された場合の表示の変化を説明する図である。
この例の場合、表示内容決定部２９は、特定された温度を予め定めた閾値と比較した結果や複数の温度検知センサ９Ａ、９Ｂ、９Ｃで検出された温度の分布の情報に基づいて、表示されているキャラクター３０の特定の部位に変化を与える。
図１５の例は、情報処理装置１の周囲の気温が予め定めた閾値より高い場合の例である。この場合、表示内容決定部２９は、氷４０が溶けて小さくなり、氷４０の周囲に溶けた水４１が溜まった状態に表示を変化させる。ここでの氷４０は特定の部位の一例である。
FIG. 15 is a diagram for explaining a change in display when temperature change is detected through the
In the case of this example, the display
The example of FIG. 15 is an example in the case where the temperature around the
図１６は、三次元オブジェクトとしてキャラクター３０が表示されている場合において、湿度検知センサ１０Ａ、１０Ｂ、１０Ｃ（図３参照）を通じて湿度の変化が検知された場合の表示の変化を説明する図である。
この例の場合、表示内容決定部２９は、特定された湿度を予め定めた閾値と比較した結果や複数の湿度検知センサ１０Ａ、１０Ｂ、１０Ｃで検出された湿度の分布の情報に基づいて、表示されているキャラクター３０の特定の部位に変化を与える。
図１６の例は、情報処理装置１の周囲の湿度が予め定めた閾値より高い場合の例である。この場合、表示内容決定部２９は、キャラクター３０の衣服をレインコート４３に変化させると共に、履物をレインブーツ４２に変化させる。
ここでのキャラクター３０の胴体や脚部は特定の部位の一例である。また、レインコート４３やレインブーツ４２への変化は雨天仕様の変化である。なお、衣服や履物の変化には川、海などの水辺仕様への変化があってもよい。
FIG. 16 is a diagram for explaining a change in display when a change in humidity is detected through the
In the case of this example, the display
The example of FIG. 16 is an example in the case where the humidity around the
The torso and legs of the
＜実施の形態１の効果＞
各種のセンサが出力する情報に基づいて三次元的に表示されるオブジェクトの特定の部位に変化が生じる情報処理装置１を用いれば、ユーザに提供できる表現を増やすことができる。
例えば情報処理装置１に衝撃（加速度）を加える、圧力を加える、捻じりを加えるといった直感的な操作やその際の大きさに連動して、三次元的に表示されるオブジェクトの特定の部位の表示が変化するので、ユーザの年齢や性別、障害の有無を問わない、操作と表示上の効果との新しい関係を提供できる。
また例えば情報処理装置１が使用される環境や使用中の情報処理装置１の状態に連動して、三次元的に表示されるオブジェクトの特定の部位の表示が変化するので、環境や使用の状態と表示上の効果との新しい関係を提供できる。
<Effect of
By using the
For example, a specific part of an object displayed three-dimensionally in conjunction with an intuitive operation of applying an impact (acceleration) to the
In addition, for example, the display of a specific part of an object displayed three-dimensionally changes in conjunction with the environment in which the
＜他の構成＞
実施の形態１においては、１つの加速度検知センサ８を用いて表示部２（図１参照）に加えられた加速度の大きさを検知しているが、図１７に示すように、複数の加速度検知センサ８を表示部２の面内に配置してもよい。
図１７は、加速度検知センサ８が表示部２の面内にＭ行Ｎ列に配置された例を説明する図である。図１７に示す加速度検知センサ８の配置例の場合には、局所的な加速度の大きさの分布を加速度検知センサ８の位置情報から特定できる。
<Other configuration>
In the first embodiment, although one
FIG. 17 is a diagram for explaining an example in which the
図１８は、加速度検知センサ８が４行４列に配置された場合において、特定の位置から加速度（衝撃）が検知された回数の変化を表している。
図１８の場合、時刻ｔ１は衝撃が加えられていない状態を示す。時刻ｔ１の場合、いずれの加速度検知センサ８においても検知回数は０（ゼロ）である。時刻ｔ２は、１行目の２列目と３列目に位置する２つの加速度検知センサ８に衝撃が１回加えられた状態を示している。時刻ｔ３は、１行目の２列目と３列目に位置する２つの加速度検知センサ８に衝撃が１０回加えられ、その過程で振動の伝搬により同列にある２行目と３行目の加速度検知センサ８の出力に変化が表れている様子を表している。図１８では、濃度の濃い加速度検知センサ８ほど累積された衝撃の検知回数が多いことを示している。
時刻ｔ３の例では、予め定めた期間内に複数の加速度検知センサ８で検知された衝撃の回数の分布から１行目から２行目、３行目の方向に加速度が伝搬したことが分かる。この伝搬の方向の情報を用いて特定の部位に与える変化の内容を制御することもできる。
時刻ｔ４は、衝撃がなくなってから５分経過した状態を示す。この状態では、衝撃の検知回数がいずれも０（ゼロ）にリセットされている。
FIG. 18 shows a change in the number of times that acceleration (impact) is detected from a specific position when the
In the case of FIG. 18, time t1 shows a state where no impact is applied. At time t1, the number of times of detection is 0 (zero) in any
In the example of time t3, it is known from the distribution of the number of impacts detected by the plurality of
Time t4 indicates a state in which 5 minutes have elapsed since there was no impact. In this state, the number of shock detections is reset to 0 (zero).
なお、圧力検知センサ５についても同様である。実施の形態１では、表示部２と概略同形状の位置検知センサ４と圧力検知センサ５（図４参照）を組み合わせて圧力を加えた位置とその強度を検知しているが、複数の圧力検知センサ５を表示部２の面内に沿って整列させ、圧力を検知した圧力検知センサ５の位置情報を用いて圧力を加えた位置、外力としての圧力が加えられた方向、その強度などを計算してもよい。
また、各圧力検知センサ５で検知された圧力の大きさの変化や分布に基づいて表示を変化させる部位を特定してもよい。
The same applies to the
Further, a portion to be changed in display may be specified based on a change or distribution of the magnitude of pressure detected by each
また、実施の形態１の場合には、情報処理装置１（図１参照）が有する１つの表示部２（図１参照）に三次元オブジェクトを表示しているが、図１９に示すように、１つのオブジェクトに対応する複数の２次元オブジェクトを表示することで三次元的に表示する情報処理装置１Ａにおける制御部３の処理動作にも応用できる。
図１９は、正面、側面及び背面の４つの面に表示部２Ａ〜２Ｄを有する情報処理装置１Ａの外観例を示す図である。
Further, in the case of
FIG. 19 is a view showing an example of the appearance of the
図１９では、正面に配置された表示部２Ａにキャラクターの正面像３０Ａが表示され、紙面に向かって右側の側面に配置された表示部２Ｂにキャラクターの右側面像３０Ｂが表示され、左側の側面に配置された表示部２Ｃにキャラクターの左側面像が表示され、背面に配置された表示部２Ｄにキャラクターの背面像が表示されている。
なお、表示部は、正面と背面の２面に配置されてもよいし、上面や底面に配置されてもよい。
このように、立体的に複数の表示部２を配置することによりオブジェクトを三次元的に表示する場合にも、センサ出力に基づいてオブジェクトの特定の部位の表示に変化を加えることで、ユーザに対して新たな表現を提供することが可能になる。
In FIG. 19, the
The display unit may be disposed on the front and back surfaces, or may be disposed on the top and bottom surfaces.
As described above, even in the case where an object is three-dimensionally displayed by arranging the plurality of
＜実施の形態２＞
＜装置構成＞
図２０は、実施の形態２に係る情報処理装置１Ｂの外観例を示す図である。
図２０には図１との対応部分に対応する符号を付して示している。
情報処理装置１Ｂは、実施の形態１に係る情報処理装置１と同じく、概略板状の外観を有している。
ただし、実施の形態２に係る情報処理装置１Ｂは、任意の位置で筐体を変形することが可能であり、筐体が変形した位置を検知する変形検知センサ５１を有する点で、実施の形態１に係る情報処理装置１と相違する。
変形検知センサ５１は、筐体の外縁に沿うように複数配置される。変形検知センサ５１の配置箇所や配置間隔（配置密度）は、変形検知センサ５１のサイズや仕様に応じて決まる。なお、変形検知センサ５１は、表示部２と重なるように配置してもよい。
Second Embodiment
<Device configuration>
FIG. 20 is a diagram showing an example of the appearance of the
In FIG. 20, reference numerals corresponding to those in FIG. 1 are shown.
The
However, the
A plurality of
変形検知センサ５１は、いわゆる歪センサで構成され、例えば村田製作所により開発されているポリ乳酸のずり圧電性を応用した変位センサを使用する。歪センサは、折り曲げ量（角度）に応じた大きさのセンサ出力を出力する。このように、歪センサは、付着された部材の変形を検知できるデバイスである。従って、変形検知センサ５１は、折り畳み状態に至る前の湾曲による変形も検知する。
なお、実施の形態２では、情報処理装置１Ｂの筐体が平面形状にある状態を変形前の状態又は初期状態という。
The
In the second embodiment, a state in which the housing of the
制御部３は、曲げを検知した複数の変形検知センサ５１の位置関係に基づいて、表示部２の曲げ位置を推定する。
また、本実施の形態では、変形検知センサ５１は、筐体の片面側（例えば表示部２を配置した面）に配置する。もっとも、変形検知センサ５１を筐体の両面に配置してもよい。
ここでの曲げ位置は変形位置の一例である。
The
Further, in the present embodiment, the
The bending position here is an example of a deformation position.
情報処理装置１Ｂは、プラスチックなどで形成された柔軟性を有する筐体に、画像の表示に用いられる表示部２や装置全体を制御する制御部３などを配置している。情報処理装置１Ｂのうち表示に特化した装置は、フレキシブルディスプレイとも呼ばれる。
図２１は、情報処理装置１Ｂのハードウェア構成例を説明する図である。
図２１には図４との対応部分に対応する符号を付している。情報処理装置１Ｂでは、複数の変形検知センサ５１がバス１６に接続されている点で、実施の形態１の情報処理装置１と相違する。
In the
FIG. 21 is a diagram for explaining an example of the hardware configuration of the
Reference numerals corresponding to those in FIG. 4 are attached to FIG. The
図２２は、実施の形態２に係る制御部３の機能構成の一例を説明する図である。
図２２には図５との対応部分に対応する符号を付して示している。情報処理装置１Ｂは、複数の変形検知センサ５１からの出力を入力して筐体に生じた曲げ位置を特定する曲げ位置特定部５２を有する点で実施の形態１で説明した情報処理装置１と相違する。
本実施の形態における表示内容決定部２９は、曲げ位置特定部５２で特定された筐体の曲げ位置の情報を用い、三次元的に表示されているオブジェクトの特定の位置に変化を与えたり、表示の内容を変化させたりする。
FIG. 22 is a diagram for explaining an example of a functional configuration of the
In FIG. 22, reference numerals corresponding to those in FIG. 5 are shown. The
The display
図２３は、曲げ位置特定部５２によって特定される曲げ位置の例を説明する図である。
（ａ）は、情報処理装置１Ｂにおける短辺の中点付近に位置する２つの変形検知センサ５１で変形が検知された場合に、曲げ位置特定部５２が特定する曲げ位置を説明する図である。（ａ）の場合、曲げ位置特定部５２は、情報処理装置１Ｂの長辺と平行な線Ｌ１が折り目となるように表示部２が曲げられていると判定する。なお、図における折り目は説明のためであり、折り目は必要としない。
FIG. 23 is a diagram for explaining an example of the bending position specified by the bending
(A) is a figure explaining the bending position which bending position
（ｂ）は、情報処理装置１Ｂにおける長辺の中点付近に位置する２つの変形検知センサ５１で変形が検知された場合に、曲げ位置特定部５２が特定する曲げ位置を説明する図である。（ｂ）の場合、曲げ位置特定部５２は、情報処理装置１Ｂの短辺と平行な線Ｌ２が折り目となるように表示部２が曲げられていると判定する。
(B) is a figure explaining the bending position which bending position
（ｃ）は、情報処理装置１Ｂの右上隅と左下隅に位置する２つの変形検知センサ５１で変形が検知された場合に、曲げ位置特定部５２が特定する曲げ位置を説明する図である。（ｃ）の場合、曲げ位置特定部５２は、右上がりの対角線方向の線Ｌ３が折り目となるように表示部２が曲げられていると判定する。
(C) is a figure explaining the bending position which bending position
（ｄ）は、情報処理装置１Ｂの右上隅と左上隅から２番目に位置する２つの変形検知センサ５１で変形が検知された場合に、曲げ位置特定部５２が特定する曲げ位置を説明する図である。（ｄ）の場合、曲げ位置特定部５２は、左上隅を直角とする三角形の斜辺を形成する線Ｌ４が折り目となるように、表示部２が曲げられていると判定する。
(D) illustrates a bending position specified by the bending
（ｅ）は、上辺（長辺）の３か所と下辺（長辺）の３か所に位置する６つの変形検知センサ５１で変形が検知された場合に、曲げ位置特定部５２が特定する曲げ位置を説明する図である。（ｅ）の場合、曲げ位置特定部５２は、左側から右側の方向に、谷折りを形成する線Ｌ５、山折りを形成する線Ｌ６、谷折りを形成する線Ｌ７が並ぶように、表示部２が変形されていると判定する。
In (e), the bending
＜表示制御の例＞
以下では、実施の形態２に係る表示内容決定部２９がセンサ入力を用いて実行する制御動作の例を説明する。
図２４は、特定された曲げ位置の情報を用いて三次元オブジェクトに画像編集を加える例を説明する図である。
図２４では、情報処理装置１Ｂが変形される前の時刻ｔ１において、表示部２に三次元オブジェクトの立体像５３が表示されている。ここでの立体像５３はりんごである。また、時刻ｔ１における情報処理装置１Ｂの形状は第１の形状の一例である。
次の時刻ｔ２において、情報処理装置１Ｂは、画面中央に対してやや右側の位置で表示面２が内側になるように折り曲げられる。この時刻でも、三次元オブジェクトの立体像５３の表示に変化はない。ここで、時刻ｔ２における情報処理装置１Ｂの形状は第２の形状の一例である。
<Example of display control>
Hereinafter, an example of a control operation performed by the display
FIG. 24 is a diagram for explaining an example in which image editing is added to a three-dimensional object using information of the specified bending position.
In FIG. 24, at time t1 before the
At the next time t2, the
続く時刻ｔ３において、情報処理装置１Ｂは、元の平坦な状態に戻っているが、三次元オブジェクトの立体像５３には時刻ｔ２の曲げ位置に相当する部位（リンゴの表面に当たる曲面部分）に線分５４が追加されている。換言すると、曲げ位置を跨いで表示されている三次元オブジェクトの立体像５３（すなわち画像自体）に画像編集の一例として線分が追加されている。
図２４の場合、ユーザによる情報処理装置１Ｂを曲げる操作は、表示内容決定部２９による線分５４の追加のために使用される。なお、図２４の例では、線分５４の表示は、情報処理装置１Ｂが元の平坦な状態に戻った後（時刻ｔ３以降）に開始されているが、情報処理装置１Ｂが曲げられている状態（時刻ｔ２）に開始されてもよい。この場合、線分５４の表示は情報処理装置１Ｂが曲げられている間に限ってもよい。
ここでは、曲げ位置に対応する破線と三次元オブジェクトの立体像５３とが交差する部位が、特定の部位に当たる。
Subsequently, at time t3, the
In the case of FIG. 24, the operation of bending the
Here, a portion where the broken line corresponding to the bending position intersects with the three-
図２５は、特定された曲げ位置の情報を用いて三次元オブジェクトに画像編集を加える他の例を説明する図である。
図２５においても、時刻ｔ１、ｔ２では、情報処理装置１Ｂの曲げ状態によらず、表示部２に表示される三次元オブジェクトの立体像５３の表示に変化はない。
ただし、図２５の場合、情報処理装置１Ｂが元の平坦な状態に戻った後に、三次元オブジェクトの立体像５３には時刻ｔ２の曲げ位置に相当する部位で三次元オブジェクトの立体像５３を切断した画像が表示される。すなわち、切断面５５が追加されている。
FIG. 25 is a diagram for explaining another example of applying image editing to a three-dimensional object using information of the specified bending position.
Also in FIG. 25, at times t1 and t2, there is no change in the display of the three-
However, in the case of FIG. 25, after the
図２５の例では、三次元オブジェクトの立体像５３を切断した後の画像のみが表示されているが、切断開始から切断後に至るまでの過程が動画として表示されてもよい。
切断面が表示されることで、画像処理の臨場感が高まる。本実施の形態の場合、実行される特殊効果処理の内容は、予め利用者によって指定される。
なお、画像処理の際には、処理の内容に応じた効果音を付加してもよい。例えば図２５の例であれば、不図示のスピーカを通じてリンゴが切断される音（例えば「ザクッ」）という効果音を付加してもよい。効果音の付加により、画像処理の臨場感が高まる。
Although only the image after cutting the three-
The display of the cut surface enhances the sense of reality of the image processing. In the case of the present embodiment, the content of the special effect process to be executed is specified by the user in advance.
At the time of image processing, sound effects may be added according to the content of the processing. For example, in the example of FIG. 25, an effect sound may be added such as a sound (for example, “Zaku”) in which an apple is cut through a speaker (not shown). The addition of sound effects enhances the realism of image processing.
＜実施の形態２の効果＞
本実施の形態によれば、任意の位置で変形可能な情報処理装置１Ｂの変形操作を通じ、表示部２に表示されている三次元オブジェクトの立体像５３の特定の部位に変化を加えることができる。
これにより、情報処理装置１Ｂを用いてユーザに提供できる表現や操作入力の手法を増やすことができる。また、効果音を組み合わせれば、表示の変化に対して臨場感を高めることができる。
<Effect of Second Embodiment>
According to the present embodiment, it is possible to apply a change to a specific part of the three-
As a result, it is possible to increase the number of expressions and operation input methods that can be provided to the user using the
＜他の構成＞
情報処理装置１Ｂの変形は、他の情報処理装置における処理動作の制御に用いることもできる。
図２６は、情報処理装置１Ｂの変形操作を、他の情報処理装置５６が表示制御する表示装置５７の表示動作の制御に用いる使用例を説明する図である。
図２６の場合、任意の位置で変形可能な情報処理装置１Ｂにおいて検知された変形の情報は、通信手段を通じて情報処理装置５６に伝達され、情報処理装置５６に設けられた又は接続された表示装置５７に表示される画面の制御に用いられる。
<Other configuration>
The modification of the
FIG. 26 is a view for explaining a usage example in which the deformation operation of the
In the case of FIG. 26, the information on the deformation detected in the
ここで、情報処理装置５６は、いわゆるコンピュータとして構成されており、操作手段として用いられる情報処理装置１Ｂに表示されている画像の内容と、情報処理装置５６を通じて表示装置５７に表示される画像の内容とは同じでも異なっていてもよい。
図２６の場合には、時刻ｔ１から時刻ｔ２の間に情報処理装置１Ｂで検知された変形の情報に基づいて、表示装置５７に表示される三次元オブジェクトの立体像５３の一部に切断面５５が表示されている。換言すると、立体像５３の一部が削除されている。
Here, the
In the case of FIG. 26, based on the information of the deformation detected by the
図２７は、情報処理装置１Ｂの変形操作を、他の情報処理装置５６が表示制御する表示装置５７の表示動作の制御に用いる他の使用例を説明する図である。
図２７は、操作入力手段としての情報処理装置１Ｂの変形を検知した情報処理装置５６は表示装置５７に表示されるスライドショーの開始や頁めくりの指示に用いられる例を示している。図２７の場合、時刻ｔ１から時刻ｔ２の間に情報処理装置１Ｂで検知された変形の情報に基づいて、スライドショーの画面が１頁目から２頁目に切り替わっている。換言すると、表示画像が差し替えられている。
FIG. 27 is a view for explaining another usage example in which the deformation operation of the
FIG. 27 shows an example in which the
＜実施の形態３＞
本実施の形態では、オブジェクトの三次元的な表示に三次元ディスプレイを用いる場合について説明する。
図２８は、三次元ディスプレイによる三次元オブジェクトの表示例を示す図である。
図２８に示す情報処理システム６１は、ユーザを撮影する撮像装置６４と、情報処理装置６５と、三次元空間描画装置６６とを有している。
In this embodiment, the case where a three-dimensional display is used for three-dimensional display of an object will be described.
FIG. 28 is a view showing a display example of a three-dimensional object by a three-dimensional display.
An
撮像装置６４は、被写体としてのユーザ６３の動きを撮像する装置であり、センサの一種である。
情報処理装置６５は、表示対象である三次元オブジェクトのデータを三次元空間描画装置６６に出力する処理、撮像された画像を処理してユーザ６３の動きを判定する処理、判定結果に応じた画像処理を三次元オブジェクトに加える処理などを実行する装置である。情報処理装置６５は、いわゆるコンピュータによって構成され、前述した各種の処理はプログラムの実行を通じて実現される。
The
The
三次元空間描画装置６６は、例えば赤外線パルスレーザー、レーザー光を結像させる焦点位置の調整に用いるレンズ、レーザー光を空間内で面走査するのに用いるガルバノミラーなどで構成され、与えられた三次元オブジェクトのデータに基づいて空気中に立体像を描画する。図２８の例では、空気のプラズマ発光によって三次元オブジェクトとしてのリンゴの立体像６２が空気中に浮かび上がっている。
なお、本実施の形態では、画像処理を通じてユーザ６３の動きを検知しているが、空気の動きを検知するセンサの出力を用いてユーザ６３の動きを検知してもよい。なお、ユーザの動きではなく、サーモグラフィを通じてユーザ６３の体温やその変化、ユーザ６３の周囲の気温や湿度やその変化を検知してもよい。
The three-dimensional
In the present embodiment, the movement of the
図２９は、ユーザの特定の動きによって三次元オブジェクトの表示に変化を与える様子を説明する図である。
図２９には図２８との対応部分に対応する符号を付して示している。
図２９では、ユーザが立体像６２の特定の部位を縦方向に切るような動作を行った場合を描いている。ユーザの動きを検知した情報処理装置６５は、ユーザの動きを通じて立体像６２の表示に変化を与える位置を特定し、変化の内容を決定する。図２９の場合、特定された位置を境にリンゴの立体像６２を切断する場合の各体積を三次元オブジェクトのデータから計算し、体積が大きい方を空間中に描画するように描画データを生成する。
このため、図２７では、リンゴの立体像６２のうち体積の大きい方が残るように切断面６７が描画されている。
この例では、切断面６７を描画しているが、実施の形態１の場合のように、描画されている三次元オブジェクトに応じて変化の内容を制御すればよい。
FIG. 29 is a diagram for explaining how a display of a three-dimensional object is changed by a specific motion of the user.
In FIG. 29, reference numerals corresponding to those in FIG. 28 are attached.
FIG. 29 depicts the case where the user performs an operation to cut a specific part of the
For this reason, in FIG. 27, the
In this example, the
図３０は、壁面や床面に投影された三次元オブジェクトに変化を与える例を説明する図である。
図３０には図２８との対応部分に対応する符号を付して示している。
図３０に示す情報処理システム６１Ａは、三次元空間描画装置６６に代えて投影装置６８を用いる点で、情報処理システム６１と異なる。
図３０の場合、投影装置６８は、２次元空間である壁面に三次元オブジェクトの立体像６９を投影している。図３０に示すユーザは、投影面である壁面に沿うように右手を上から下に（−Ｚ方向）に動かしている。情報処理装置６５は、不図示の赤外線センサや画像処理を通じてユーザの動きを検知して、投影される立体像６９に変化を与える。図３０の場合には、切断面７０を表示させている。
FIG. 30 is a diagram for explaining an example in which a change is given to a three-dimensional object projected on a wall surface or a floor surface.
In FIG. 30, reference numerals corresponding to those in FIG. 28 are attached.
An
In the case of FIG. 30, the
＜他の実施の形態＞
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
例えば三次元的に表示されるオブジェクトの特定の部位の色を変化させてもよい。
<Other Embodiments>
As mentioned above, although embodiment of this invention was described, the technical scope of this invention is not limited to the range as described in said embodiment. It is also apparent from the scope of the claims that the embodiments described above with various changes or improvements are included in the technical scope of the present invention.
For example, the color of a specific part of an object displayed three-dimensionally may be changed.
前述の実施の形態では、センサとしてユーザが操作する表示画面上の位置を検知するセンサ（位置検知センサ４）、ユーザの操作を圧力として検知するセンサ（圧力検知センサ５、７Ａ、７Ｂ）、筐体の捻じれを検知するセンサ（捻じれ検知センサ６（図４参照））などを用いて、表示部に三次元的に表示されているオブジェクトの特定の部位を変化させているが、前述以外のセンサを用いてもよい。
In the embodiment described above, a sensor (position detection sensor 4) that detects a position on the display screen operated by the user as a sensor, a sensor (
例えば情報処理装置１を使用している標高を測位するセンサを用いてもよい。この種のセンサには、気圧を測定して標高を計算する高度計、ＧＰＳ（Global Positioning System）信号を使用して標高を計算するＧＰＳ受信機等がある。なお、ＧＰＳ信号には、屋内での使用を前提としたものもある。
また例えば情報処理装置１を使用している場所の気圧を測定するセンサ、照度を測定するセンサ、水圧を測定するセンサ、水深を測定するセンサなどを用いてもよい。
For example, a sensor that measures the altitude using the
For example, a sensor that measures the air pressure at a location where the
ここで、標高を測定するセンサを用いる場合には、情報処理装置１を使用している標高に応じて表示部２に表示されているオブジェクトの特定の部位やオブジェクトの背景を変化させてもよいし、表示部２に表示される画面自体を変化させてもよい。例えば標高の高い場所においては、オブジェクトの一部（例えばキャラクターの背中や腕）に羽や翼を追加したり、オブジェクトの背景に雲を追加したり、画面を高所から周囲の景観を眺める画像や空の画像に切り替えてもよい。
Here, when using a sensor for measuring the elevation, the specific part of the object displayed on the
気圧を測定するセンサを用いる場合には、気圧値の変化に応じてオブジェクトの一部（例えばキャラクターの腹部や頬っぺた）を膨張させるように又は収縮させるように変化させてもよい。また、密封された袋や風船などを表すオブジェクトの体積を気圧が下がるほど大きくなるように画像を変化させ、気圧が上がるほど小さくなるように画像を変化させてもよい。 When a sensor for measuring air pressure is used, it may be changed to expand or contract a part of the object (e.g., the abdomen or cheek of the character) according to a change in air pressure value. Alternatively, the image may be changed such that the volume of the sealed object such as a bag or a balloon increases as the air pressure decreases, and the image may change as the air pressure increases.
照度センサを用いる場合には、照度値の変化に応じてオブジェクトの一部を変化させてもよい。例えば明るい場所では、オブジェクトとしてのキャラクターにサングラスを装着させ、暗い場所では、オブジェクトとしてのキャラクターに懐中電灯を持たせてもよい。また、周囲の明るさに応じて、オブジェクトの表示形態や画面の表示内容を、夜用と昼用とで切り替えてもよい。
この他、センサにはＧＰＳセンサを用いてもよい。例えばオブジェクトとして機器の操作マニュアルが表示される場合において、その記述言語が検知された国や地域における第１言語に変化させるようにしてもよい。
When using an illuminance sensor, a part of the object may be changed according to the change of the illuminance value. For example, in a bright place, a character as an object may be worn with sunglasses, and in a dark place, a character as an object may have a flashlight. Further, the display form of the object or the display content of the screen may be switched between night use and day use according to the surrounding brightness.
Besides this, a GPS sensor may be used as the sensor. For example, when the operation manual of the device is displayed as an object, the language may be changed to the first language in the country or region in which the description language is detected.
また、操作マニュアルに掲載される問答集や操作に関する注意事項に関する内容を、情報処理装置１の使用環境に応じて変化するセンサ出力の値に基づいて変化させてもよい。ここでの変化には、例えばセンサ出力によって特定される環境下で発生し易い内容を上位に配置する等の記載位置の変更を含む。
例えば情報処理装置１が高温多湿な地点で使用されていると判定される場合には、オブジェクトとして表示される操作マニュアルの上位箇所に高温多湿な環境下に対応する注意事項が配置されるように表示を変化させてもよい。
また例えば操作マニュアルで用いられる挿絵の内容を高温多湿な環境に応じてローカライズ（カスタマイズ）してもよい。
Further, the contents of questions and answers written in the operation manual and the notes on the operation may be changed based on the value of the sensor output which changes in accordance with the use environment of the
For example, when it is determined that the
Further, for example, the contents of the illustration used in the operation manual may be localized (customized) in accordance with the hot and humid environment.
前述の実施の形態においては、センサは情報処理装置１に設けられている場合について説明したが、センサは、情報処理装置１とは独立した装置として存在し、センサの出力値が通信手段を通じて情報処理装置１に与えられてもよい。
また、情報処理装置１は、外部から取得される環境情報に基づいてオブジェクトの表示を変化させてもよい。ここでの環境情報とは、情報処理装置１の位置情報に関連する外部から取得可能な情報をいい、例えば天気予報などの気象に関する情報、犯罪の発生などの防犯に関する情報、事故や渋滞などの交通に関する情報が含まれる。
In the above embodiment, although the case where the sensor is provided in the
Further, the
例えば情報処理装置１の表示画面に地図が表示され、その地図上にユーザの位置（すなわち情報処理装置１の位置）を示すキャラクターの画像が表示されている状態で、ユーザの位置に関連付けられた高温注意情報が受信された場合、キャラクターの画像の袖の長さや裾野長さを短くし（半袖と短パンに変化させ）、かつ、体から汗が流れる状態に変化させてもよい。
For example, in a state in which a map is displayed on the display screen of the
例えば情報処理装置１の表示画面に地図が表示され、その地図上にユーザの位置（すなわち情報処理装置１の位置）を示すキャラクターの画像が表示されている状態で、ユーザの位置に関連付けられた地域に犯罪が発生したとの通知が受信された場合、キャラクターの表情を怯えた表情に変化させたり、体が震えている表示に変化させたりしてもよい。
例えば交通事故の発生が通知された場合も同様の表示を用いてもよい。
なお、複数の環境情報が重複して取得された場合には、表示の変化も、これら複数の環境情報に対応する変化を組み合わせた内容としてもよい。例えば前述した高温注意情報と犯罪の発生とが重複して取得された場合には、キャラクターの画像を薄着に変化させ、かつ、汗を流し、かつ、おびえる様子の画像に変化させてもよい。
また、センサによって取得された情報と環境情報とを組み合わせてオブジェクトの表示に変化を与えてもよい。
For example, in a state in which a map is displayed on the display screen of the
For example, the same display may be used even when the occurrence of a traffic accident is notified.
When a plurality of pieces of environmental information are acquired in duplicate, the change in display may also be a combination of the changes corresponding to the plurality of pieces of environmental information. For example, when the above-described high temperature caution information and the occurrence of a crime are acquired in an overlapping manner, the image of the character may be changed to be light, and it may be changed to an image of sweating and being scared.
Moreover, the display of an object may be changed by combining information acquired by the sensor and environmental information.
前述の実施の形態においては、基本的に個々のセンサが測定する物理量を用いて表示に特定の変化を与えているが、複数のセンサの出力を組み合わせて表示に変化を与えてもよい。ここでの物理量は、測定対象である圧力、加速度、温度、湿度、気圧、標高、水深、磁極、音、位置情報などの他、センサに現れる電気信号（電流や電圧）の変化を含んでもよい。
例えば時刻の情報と、標高値と、温度値と、照度値の４つを組み合わせて情報処理装置１の使用環境を特定し、特定された使用環境（例えば夏山）に応じてオブジェクトの一部や画面に変化を与えてもよい。
また例えばオブジェクトとしてのキャラクターを避暑地の服装や夏山登山の服装に変更してもよいし、表示部２に表示される画像を夏の空の画像に変化させてもよい。
また、水深と、温度値とを組み合わせて表示部２に特定された水深と水温を満たす水域に生息する生物を表示してもよいし、オブジェクトの表示形態に変化を与えてもよい。
In the above-mentioned embodiment, although the display is specifically changed using the physical quantities measured by the individual sensors basically, the outputs of a plurality of sensors may be combined to change the display. The physical quantity here may include changes in the electric signal (current or voltage) appearing at the sensor, in addition to the pressure, acceleration, temperature, humidity, barometric pressure, altitude, water depth, magnetic pole, sound, position information, etc. .
For example, the use environment of the
For example, the character as the object may be changed to a dress of summer resort or a dress for mountain climbing, or the image displayed on the
Further, the living thing that inhabits the water area satisfying the specified water depth and water temperature may be displayed on the
前述の実施の形態では、三次元オブジェクトの例としてキャラクターやりんご等を用いて説明したが、三次元的に表示されるオブジェクトはこれらに限らない。例えば時間の経過を表現する砂時計や電波の強度を表す一組のアンテナも三次元オブジェクトの一例である。
また、表示対象としての三次元オブジェクトは、ファームウェア等のソフトウェアに基づいて動作する組み込み機器、器具や機械等の製品であってもよい。この場合において、製品の設計情報（例えばＣＡＤデータ、構成する部品の性能情報等）の利用が可能であれば、これらの情報とセンサの出力値とを組み合わせた表示も可能になる。
Although the above-mentioned embodiment explained using a character, an apple, etc. as an example of a three-dimensional object, an object displayed three-dimensionally is not restricted to these. For example, an hourglass representing the passage of time and a pair of antennas representing the intensity of radio waves are also examples of three-dimensional objects.
Also, the three-dimensional object to be displayed may be a built-in device that operates based on software such as firmware, or a product such as an appliance or a machine. In this case, if it is possible to use design information of the product (for example, CAD data, performance information of the component to be configured, etc.), a display combining these information with the output value of the sensor becomes possible.
例えば組み立てられる部品や着脱される個々の部材の熱膨張率などを情報処理装置１が取得可能な場合において、センサから温度の情報が得られる場合、表示されているオブジェクトの個々の部品の形状を取得された情報に応じて変形させることもできる。この場合、変形を強調した表示とすることも可能である。
この表示機能を用いれば、情報処理装置１の周囲が高温であれば、一部の部品の形状を膨張させた表示に変化させることができる。この表示は、現在の環境下で製品がどのようになるかをシミュレーションするのと同じである。一般的なシミュレーションでは、温度条件などの入力を必要とするが、この表示機能により、現地や現場で対象製品を画面に表示するだけで、製品に生じる変化を確認することができる。
また、この表示機能を用いれば、情報処理装置１の周囲が低温の場合における潤滑油の硬化を予測して画面に表示される製品の動きにハードウェア上の変化を与えることもできる。
For example, in the case where the
If this display function is used, if the temperature around the
In addition, if this display function is used, it is possible to predict the curing of the lubricating oil when the temperature around the
また、この表示機能は、使用環境がソフトウェアに与える影響やソフトウェアの異常に起因するハードウェア上の動きの異変を、オブジェクトの表示に対する変化として表現することもできる。例えば情報処理装置１の周囲が多湿や高温の場合には、オブジェクトを構成する電気回路のショートやＣＰＵの熱暴走を予測し、表示画面上におけるオブジェクトの動きを異常時に特有の動作（例えば画面の消灯、異常メッセージの表示等）に変化させることもできる。
In addition, this display function can also express a change in hardware movement caused by an influence of the use environment on software or an abnormality in the software as a change to the display of the object. For example, when the periphery of the
なお、各種のセンサから取得された情報に基づいたオブジェクトの表示上の変化は、例えば図３１に示す対応表６０を用いて実現することができる。
図３１は、変化の対象とするオブジェクトとセンサ値の次元数の組み合わせと変化後の画像との対応関係を示す対応表６０の例を説明する図である。
対応表６０では、変化の対象とするオブジェクトが３次元の画像（３次元画像）として表示される場合だけでなく、１次元の画像（１次元画像）や２次元の画像（２次元画像）として表示される場合にも備えた構成となっている。すなわち、前述の実施例では、３次元オブジェクトの表示を変化させる場合を主に説明しているが、表示対象とするオブジェクトの次元は表示部が対応できる次元であれば任意であり、各次元に応じた変化画像が用意されていれば、各種のセンサの出力等に基づいて表示上の画像を変化させることができる。
In addition, the change on the display of the object based on the information acquired from various sensors can be implement | achieved using the corresponding | compatible table 60 shown, for example in FIG.
FIG. 31 is a view for explaining an example of the correspondence table 60 showing the correspondence between the combination of the object to be changed and the number of dimensions of the sensor value and the image after the change.
In the correspondence table 60, not only when an object to be changed is displayed as a three-dimensional image (three-dimensional image), but also as a one-dimensional image (one-dimensional image) or a two-dimensional image (two-dimensional image) It is configured to be provided even when it is displayed. That is, although the foregoing embodiment mainly describes the case of changing the display of the three-dimensional object, the dimension of the object to be displayed is arbitrary as long as the display unit can cope with it. If a corresponding change image is prepared, the image on the display can be changed based on the outputs of various sensors.
一方、センサ値については、取得される情報の次元に応じた区分が用意されている。具体的には、センサ値が１次元である場合に対応する１次元センサ値６２、センサ値が２次元である場合に対応する２次元センサ値６３、センサ値が３次元である場合に対応する３次元センサ値６４が用意されている。
ここでの１次元センサ値６２、２次元センサ値６３、３次元センサ値６４の区分は、例えば３次元空間上の次元の数を基準に行ってもよい。
例えば１つのセンサが検知する物理量が３次元空間内の１つの次元（例えばＸ軸方向）に対応する場合、このセンサの出力値は１次元センサ値６２である。なお、２つのセンサがそれぞれ異なる物理量を検知する場合でも、各物理量が共通の次元（例えばＸ軸方向）に対応する場合、これら２つのセンサの出力値は１次元センサ値６２である。
On the other hand, with regard to the sensor value, a division corresponding to the dimension of the acquired information is prepared. Specifically, it corresponds to one-
The division of the one-
For example, when the physical quantity detected by one sensor corresponds to one dimension (for example, the X-axis direction) in the three-dimensional space, the output value of this sensor is the one-
同様に、例えば１つのセンサが検知する物理量が３次元空間内の２つの次元（例えばＸ軸方向とＹ軸方向）に対応する場合、このセンサの出力値は２次元センサ値６３である。また、２つのセンサがそれぞれ検知する１次元の物理量の方向が異なる場合（例えば一方はＸ軸方向であり、他方はＹ軸方向である場合）、これら２つのセンサの出力値は２次元センサ値６３である。
同様に、例えば１つのセンサが検知する物理量が３次元空間内の３つの次元（例えばＸ軸方向とＹ軸方向とＺ軸方向）に対応する場合、このセンサの出力値は３次元センサ値６４である。また、３つのセンサがそれぞれ検知する１次元の物理量の方向が異なる場合（例えば１つはＸ軸方向であり、１つはＹ軸方向であり、１つはＺ軸方向である場合）、これら３つのセンサの出力値は３次元センサ値６４である。
Similarly, for example, when the physical quantity detected by one sensor corresponds to two dimensions (for example, the X-axis direction and the Y-axis direction) in the three-dimensional space, the output value of this sensor is the two-
Similarly, for example, when the physical quantity detected by one sensor corresponds to three dimensions (for example, the X-axis direction, the Y-axis direction, and the Z-axis direction) in three-dimensional space, the output value of this sensor is a three-
また、ここでの１次元センサ値６２、２次元センサ値６３、３次元センサ値６４の区分は、例えば情報の次元の数を基準に行ってもよい。
例えば１つの値を出力するセンサが２つ存在する場合、オブジェクトの表示がそれら２つのセンサの出力値の組み合わせで変化するのであれば、これら２つのセンサ値は２次元センサ値６３である。また、１つのセンサが２つの値を出力する場合、１つのセンサから出力される２つのセンサ値は２次元センサ値６３である。ここでの複数の出力値は、いずれも同じ物理量に対応するものでもよいし、異なる物理量に対応するものでもよい。
また、１次元センサ値６２、２次元センサ値６３、３次元センサ値６４の区分は、例えば３次元空間上の次元の数と情報の次元の数との組み合わせを基準に行ってもよい。
Further, the division of the one-
For example, if there are two sensors that output one value, these two sensor values are two-dimensional sensor values 63 if the display of the object changes with the combination of the output values of the two sensors. Also, when one sensor outputs two values, the two sensor values output from one sensor are two-dimensional sensor values 63. The plurality of output values here may all correspond to the same physical quantity, or may correspond to different physical quantities.
The division of the one-
図３１の例では、各次元の画像に対して複数の変化画像１〜Ｎが、各次元のセンサ値の大きさに対応付けられている。
例えば１次元センサ値６２については、大きさの違いに応じ、Ｎ個の変化画像１が１次元画像に対応付けられており、Ｎ個の変化画像４が２次元画像に対応付けられており、Ｎ個の変化画像７が３次元画像に対応付けられている。
例えば２次元センサ値６３については、大きさの組み合わせの違いに応じ、Ｍ個の変化画像２が１次元画像に対応付けられており、Ｍ個の変化画像５が２次元画像に対応付けられており、Ｍ個の変化画像８が３次元画像に対応付けられている。
同様に、３次元センサ値６４については、大きさの組み合わせの違いに応じ、Ｌ個の変化画像３が１次元画像に対応付けられており、Ｌ個の変化画像６が２次元画像に対応付けられており、Ｌ個の変化画像９が３次元画像に対応付けられている。
なお、図３１の例では、センサ値の次元数ごとに、同じ数の変化画像が画像の次元数によらず対応付けられているが、各組み合わせに応じて異なる数の変化画像が割り当てられていてもよい。また、センサ値の次元数ではなく、画像の次元数に応じて各変化画像の数が定められていてもよい。
In the example of FIG. 31, a plurality of
For example, for the one-
For example, for the two-
Similarly, for the three-
In the example of FIG. 31, although the same number of changed images are associated regardless of the number of dimensions of the image for each of the number of dimensions of the sensor value, different numbers of changed images are assigned according to each combination. May be In addition, the number of change images may be determined according to the number of dimensions of the image, not the number of dimensions of the sensor value.
また、前述の実施の形態では、説明を簡略化するために、画面上には、１つのオブジェクトが表示されている場合について説明したが、複数のオブジェクトが表示される場合も考えられる。この場合において、複数のオブジェクトをいずれも同じ次元で描画することも可能であるが、それぞれ異なる次元で描画することもできる。例えば３次元で画像を描画できる場合に、一部のオブジェクトは３次元で表示する一方、他の画像は２次元や１次元で表示してもよい。なお、全てのオブジェクトを、描画可能な次元よりも低い次元で表示することも可能である。
この場合、各画像には、個々の画像の描画に用いられている次元に応じた変化を与えてもよい。
また、センサ値に応じた変化は、複数のオブジェクトに対応する個々の画像に与えることも可能であるが、複数のオブジェクトのうちユーザによって指定された特定のオブジェクトや特定の次元に対応する画像につてのみ変化を与えるようにしてもよい。例えば３次元で描画されるオブジェクトの画像と２次元で描画されるオブジェクトの画像が混在する場合に、ユーザの指定した３次元で描画されるオブジェクトの画像に対してのみ変化を与えてもよい。
Moreover, in the above-mentioned embodiment, although the case where one object was displayed on the screen was demonstrated in order to simplify description, the case where several objects are displayed is also considered. In this case, although it is possible to draw a plurality of objects in the same dimension, it is also possible to draw them in different dimensions. For example, when an image can be drawn in three dimensions, some objects may be displayed in three dimensions while other images may be displayed in two or one dimensions. Note that it is also possible to display all objects in a dimension lower than the drawable dimension.
In this case, each image may be changed in accordance with the dimension used for drawing the individual image.
In addition, although a change according to the sensor value can be given to individual images corresponding to a plurality of objects, it is possible to change an image corresponding to a specific object or a specific dimension designated by the user among the plurality of objects. Only change may be given. For example, when an image of an object drawn in three dimensions and an image of an object drawn in two dimensions are mixed, a change may be given only to the image of the object drawn in three dimensions specified by the user.
前述の実施の形態では、情報処理装置１による表示を変化させる場合について説明したが、この表示上の変化を画像形成装置（いわゆるプリンター）への出力にも反映させてもよい。例えばセンサの出力値に応じて三次元オブジェクトの表示に変化が生じている状態で印刷が指示されたとき、変化後の内容に対応する印刷データを生成して画像を印刷してもよい。すなわち、センサの出力値は画像の表示だけでなく、印刷にも反映させることができる。
In the above-mentioned embodiment, although the case where the display by the
なお、表示上の変化と印刷する画像の内容とは独立としてもよい。すなわち、表示上のオブジェクトが変化している場合でも、印刷される内容はセンサの出力値によって変化が生じる前の三次元オブジェクトの内容としてもよい。この際、センサの出力値によって変化した後の表示の内容で画像を印刷するか、センサの出力値によって変化が生じる前の内容で画像を印刷するかはユーザインタフェース画面において選択できることが望ましい。
ここでのユーザインタフェースは、設定画面として用意されてもよいし、印刷が指示されるたびにポップアップ表示される確認画面の一部として用意されてもよい。
The change in display and the content of the image to be printed may be independent. That is, even when the object on the display is changing, the content to be printed may be the content of the three-dimensional object before the change is caused by the output value of the sensor. At this time, it is desirable that it is possible to select on the user interface screen whether to print an image with the contents of the display after changing with the output value of the sensor or to print the contents with the contents before the change occurs with the output of the sensor.
The user interface here may be prepared as a setting screen, or may be prepared as part of a confirmation screen that pops up each time printing is instructed.
画像を用紙に印刷する場合、情報処理装置１は、三次元オブジェクトを規定する三次元情報を二次元情報に変換する。ここでの二次元情報は、例えば三次元オブジェクトの表面を観察した画像であってもよいし、図２４等のように三次元オブジェクトの内部構造の変化を反映した画像でもよい。
なお、いわゆるプリンターは用紙などの記録材に二次元像を印刷する装置の他、立体像（三次元像）を形成する三次元プリンターであってもよい。出力先が三次元プリンターである場合、三次元オブジェクトを二次元情報に変換することなく、立体物で出力する。
When printing an image on paper, the
The so-called printer may be a device for printing a two-dimensional image on a recording material such as paper, or a three-dimensional printer for forming a three-dimensional image (three-dimensional image). When the output destination is a three-dimensional printer, the three-dimensional object is output as a three-dimensional object without being converted to two-dimensional information.
前述の実施の形態においては、情報処理装置１としてタブレット型のコンピュータやスマートフォンなどの携帯型の情報端末を想定したが、表示部（投影機能を含む）とセンサを有する情報端末であれば、時計、ゲーム機などの玩具、テレビジョン受像機、プロジェクタ、ヘッドマウントディスプレイ、画像形成装置（いわゆるプリンタ）、電子黒板、コミュニケーション用のロボット等にも利用できる。
In the above embodiment, a portable information terminal such as a tablet computer or a smartphone is assumed as the
＜まとめ＞
手段１は、オブジェクトの画像を三次元的に表示する表示部と、検知対象とする物理量を検知する検知部と、前記検知部の出力に応じ、前記表示部に表示されるオブジェクトにおける特定の部位の表示に変化を加える表示制御部とを有する情報処理装置である。
手段２は、前記表示制御部は、前記検知部が圧力を検知した位置に基づいて表示に変化が加えられる部位を特定する、手段１に記載の情報処理装置である。
手段３は、前記表示制御部は、検知された圧力の大きさに応じて前記オブジェクトに与える変化の大きさを変える、手段２に記載の情報処理装置である。
手段４は、前記大きさは、複数回の検知結果の累積値として与えられる、手段３に記載の情報処理装置である。
手段５は、前記大きさの時間変化に応じて前記特定の部位の表示の内容が変化する、手段３に記載の情報処理装置である。
手段６は、前記表示制御部は、複数の前記検知部で検知された圧力の大きさの分布に基づいて前記オブジェクトに作用する外力の方向を計算する、手段２に記載の情報処理装置である。
手段７は、計算された外力の方向に基づいて、前記表示部に表示されている前記オブジェクトのうち表示を変化させる部位を特定する、手段６に記載の情報処理装置である。
手段８は、前記表示制御部は、前記検知部が検知した加速度の方向に基づいて、前記表示部に表示されている前記オブジェクトのうち表示を変化させる部位を特定する、手段１に記載の情報処理装置である。
手段９は、検知された加速度の大きさに応じて前記オブジェクトに与える変化の大きさを変える、手段８に記載の情報処理装置である。
手段１０は、前記表示制御部は、異なる部位の前記検知部が検知した湿度に基づいて、前記表示部に表示されている前記オブジェクトの表示を変化させる部位を特定する、手段１に記載の情報処理装置である。
手段１１は、前記表示制御部は、予め定めた閾値を超える湿度が検知された場合、前記オブジェクトのうち特定された部位の表示を濡れた状態に変化させる、手段１０に記載の情報処理装置である。
手段１２は、前記表示制御部は、予め定めた閾値を超える湿度が検知された場合、特定された部位の衣服又は履物を雨天又は水辺仕様に変化させる、手段１０に記載の情報処理装置である。
手段１３は、前記表示制御部は、異なる部位の前記検知部が検知した温度に基づいて、前記表示部に表示されている前記オブジェクトの表示を変化させる部位を特定する、手段１に記載の情報処理装置である。
手段１４は、前記表示制御部は、異なる部位の前記検知部の出力に基づいて特定されたねじれの情報に基づいて、前記表示部に表示されている前記オブジェクトの表示を変化させる部位を特定する、手段１に記載の情報処理装置である。
手段１５は、前記表示制御部は、検知されたねじれの大きさに応じて前記オブジェクトに与える変化の大きさを変える、手段１４に記載の情報処理装置である。
手段１６は、前記表示制御部は、前記検知部で検知された標高に基づいて表示に変化を加える、手段１に記載の情報処理装置である。
手段１７は、前記表示制御部は、前記検知部で検知された気圧に基づいて表示に変化を加える、手段１に記載の情報処理装置である。
手段１８は、前記表示制御部は、前記検知部で検知された照度値に基づいて表示に変化を加える、手段１に記載の情報処理装置である。
手段１９は、前記表示制御部は、複数種類の前記検知部からの出力の組み合わせに応じ、前記表示部に表示される前記オブジェクトにおける前記特定の部位の表示に変化を加える、手段１に記載の情報処理装置である。
手段２０は、前記表示制御部は、外部から取得される環境情報と前記検知部の出力との組み合わせに応じ、前記表示部に表示される前記オブジェクトにおける前記特定の部位の表示に変化を加える、手段１に記載の情報処理装置である。
手段２１は、前記表示制御部は、前記表示部に表示されている変化後の前記オブジェクトに対応する印刷データを画像形成装置に出力する、手段１に記載の情報処理装置である。
手段２２は、前記表示制御部は、前記表示部に変化後の前記オブジェクトが表示されている場合でも、表示の状態とは無関係に当該オブジェクトについて予め用意されている印刷データを画像形成装置に出力する、手段１に記載の情報処理装置である。
手段２３は、前記表示制御部は、前記オブジェクトに対応する現実の製品を、前記検知部の出力により特定される環境下で使用する場合の状態を予測して表示に反映させる、手段１に記載の情報処理装置である。
手段２４は、前記検知部は、変形可能な前記表示部の変形位置を検知し、前記表示制御部は、検知された変形位置に基づいて表示に変化が加えられる部位を特定する、手段１に記載の情報処理装置である。
手段２５は、前記表示制御部は、前記表示部が曲がる前の第１の形状から曲げた後の第２の形状に変形された状態で、曲げ位置を跨いで当該表示部に表示されているオブジェクト自体の画像に画像の編集を加えず、当該表示部が当該第２の形状から当該第１の形状に戻った後、当該オブジェクト自体の画像と当該曲げ位置との重なり部分に線分を表示する、手段２４に記載の情報処理装置である。
手段２６は、前記表示制御部は、前記表示部が曲がる前の第１の形状から曲げた後の第２の形状に変形された状態で、曲げ位置を跨いで当該表示部に表示されているオブジェクトの画像自体に画像の編集を加えず、当該表示部が当該第２の形状から当該第１の形状に戻った後、当該曲げ位置を境に当該オブジェクトの画像自体を三次元的に切断した画像を生成して表示する、手段２４に記載の情報処理装置である。
手段２７は、コンピュータに、オブジェクトの画像を三次元的に表示する機能と、検知対象とする物理量を検知する検知部の出力に応じ、表示部に表示される前記オブジェクトにおける特定の部位の表示に変化を加える機能とを実行させるためのプログラムである。
<Summary>
The
The
The
The
The
The
The means 7 is the information processing apparatus according to the
The
The means 9 is the information processing apparatus according to the
The information according to the
The means 11 is the information processing apparatus according to the means 10, wherein the display control unit changes the display of the specified part of the object to a wet state when humidity exceeding a predetermined threshold is detected. is there.
The means 12 is the information processing apparatus according to the means 10, wherein the display control unit changes the clothes or footwear of the specified portion to wet weather or waterside specification when humidity exceeding a predetermined threshold is detected. .
The information according to the
The means 14 specifies the part to which the display of the object displayed on the display part is to be changed based on the information of the twist specified based on the output of the detection part of the different part. An information processing apparatus according to the first aspect.
The means 15 is the information processing apparatus according to the
The means 16 is the information processing apparatus according to the
The means 17 is the information processing apparatus according to the
The means 18 is the information processing apparatus according to the
The means 19 is the
The means 20 causes the display control unit to change the display of the specific part of the object displayed on the display unit according to a combination of environmental information acquired from the outside and the output of the detection unit. 7 is an information processing apparatus according to the first aspect.
The means 21 is the information processing apparatus according to the
Even when the changed object is displayed on the display unit, the display control unit outputs, to the image forming apparatus, print data prepared in advance for the object regardless of the display state of the display control unit The information processing apparatus according to the first aspect.
The means 23 describes in the
The means 24 detects the deformation position of the deformable display portion, and the display control portion specifies the portion where the display is to be changed based on the detected deformation position. It is an information processor of a statement.
The display control unit is displayed on the display unit across the bending position in a state where the display control unit is deformed into a second shape after being bent from the first shape before the display unit is bent. After the display unit returns from the second shape to the first shape without editing the image itself, the image itself of the object is three-dimensionally cut off at the bending position. The information processing apparatus according to the
The means 27 displays the specific part of the object displayed on the display unit according to the function of displaying the image of the object three-dimensionally on the computer and the output of the detection unit for detecting the physical quantity to be detected. It is a program for executing the function of making a change.
手段１によれば、ユーザに提供できる表現を増やすことができる。
手段２によれば、部位を容易に特定できる。
手段３によれば、特定の部位に与える変化の大きさを容易に調整できる。
手段４によれば、特定の部位に与える変化の大きさを容易に調整できる。
手段５によれば、特定の部位に与える変化が時間的に変化できる。
手段６によれば、特定の部位に与える変化を容易に調整できる。
手段７によれば、部位を容易に特定できる。
手段８によれば、部位を容易に特定できる。
手段９によれば、特定の部位に与える変化の大きさを容易に調整できる。
手段１０によれば、部位を容易に特定できる。
手段１１によれば、部位を容易に特定できる。
手段１２によれば、ユーザに提供できる表現を増やすことができる。
手段１３によれば、部位を容易に特定できる。
手段１４によれば、部位を容易に特定できる。
手段１５によれば、特定の部位に与える変化の大きさを容易に調整できる。
手段１６によれば、ユーザに提供できる表現を増やすことができる。
手段１７によれば、ユーザに提供できる表現を増やすことができる。
手段１８によれば、ユーザに提供できる表現を増やすことができる。
手段１９によれば、ユーザに提供できる表現を増やすことができる。
手段２０によれば、ユーザに提供できる表現を増やすことができる。
手段２１によれば、ユーザに提供できる表現を増やすことができる。
手段２２によれば、ユーザに提供できる表現を増やすことができる。
手段２３によれば、ユーザに提供できる表現を増やすことができる。
手段２４によれば、部位を容易に特定できる。
手段２５によれば、ユーザに提供できる表現を増やすことができる。
手段２６によれば、ユーザに提供できる表現を増やすことができる。
手段２７によれば、ユーザに提供できる表現を増やすことができる。
According to the
According to the
According to the
According to the
According to the
According to the
According to the means 7, the site can be easily identified.
According to the
According to the means 9, the magnitude of the change given to the specific site can be easily adjusted.
According to the means 10, the site can be easily identified.
According to the
According to the
According to the
According to the
According to the
The means 16 can increase the expressions that can be provided to the user.
The means 17 can increase the expressions that can be provided to the user.
The means 18 can increase the expressions that can be provided to the user.
The means 19 can increase the expressions that can be provided to the user.
According to the means 20, the expressions that can be provided to the user can be increased.
The means 21 can increase the expressions that can be provided to the user.
The means 22 can increase the expressions that can be provided to the user.
The means 23 can increase the expressions that can be provided to the user.
According to the
The means 25 can increase the expressions that can be provided to the user.
According to the
The means 27 can increase the expressions that can be provided to the user.
１、１Ａ、１Ｂ、５６、６５…情報処理装置、２、２Ａ、２Ｂ、２Ｃ、２Ｄ…表示部、３…制御部、４…位置検知センサ、５、７Ａ、７Ｂ…圧力検知センサ、６…捻じれ検知センサ、８…加速度検知センサ、９Ａ、９Ｂ、９Ｃ…温度検知センサ、１０Ａ、１０Ｂ、１０Ｃ…湿度検知センサ、１４…主記憶装置、１５…通信部、２１…圧力強度特定部、２２…圧力部位特定部、２３…操作位置特定部、２４…温度特定部、２５…湿度特定部、２６…加速度方向特定部、２７…加速度強度特定部、２８…捻じれ特定部、２９…表示内容決定部、５１…変形検知センサ、５２…曲げ位置特定部、５７…表示装置、６１、６１Ａ…情報処理システム、６４…撮像装置、６６…三次元空間描画装置
DESCRIPTION OF
Claims (17)
前記位置情報に紐付いた、当該位置情報とは異なる第１の情報を前記表示装置とは異なる装置から取得し、
前記表示装置に表示される、三次元で定義されたオブジェクトを１つの視点方向から表現した二次元画像を、取得された前記第１の情報に応じて異ならせるとともに、当該二次元画像を動画として表示させる、表示制御方法。 Obtaining position information indicating a position at which the portable display device is used from the display device;
Acquiring, from a device different from the display device, first information linked to the position information and different from the position information;
A two-dimensional image which is displayed on the display device and which represents an object defined in three dimensions from one viewpoint direction is differentiated according to the acquired first information, and the two-dimensional image is used as a moving image. Display control method to display.
を有する情報処理装置。 Position information indicating a position where a portable display device is used is acquired from the display device, and first information different from the position information, which is associated with the position information, is acquired from a device different from the display device And changing the two-dimensional image, which is displayed on the display device, expressing the three-dimensional defined object from one viewpoint direction according to the acquired first information, and An information processing apparatus having display control means for displaying as a moving image.
携帯型の表示装置が使用されている位置を示す位置情報を当該表示装置から取得し、当該位置情報に紐付いた、当該位置情報とは異なる第１の情報を当該表示装置とは異なる装置から取得し、当該表示装置に表示される、三次元で定義されたオブジェクトを１つの視点方向から表現した二次元画像を、取得された当該第１の情報に応じて異ならせるとともに、当該二次元画像を動画として表示させるためのプログラム。 On the computer
Position information indicating a position where a portable display device is used is acquired from the display device, and first information different from the position information, which is associated with the position information, is acquired from a device different from the display device And changing the two-dimensional image, which is displayed on the display device, expressing the three-dimensional defined object from one viewpoint direction according to the acquired first information, and Program for displaying as a movie.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018211420A JP2019050018A (en) | 2018-11-09 | 2018-11-09 | Method for controlling display, information processor, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018211420A JP2019050018A (en) | 2018-11-09 | 2018-11-09 | Method for controlling display, information processor, and program |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018031846 Division | 2017-08-24 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2019050018A true JP2019050018A (en) | 2019-03-28 |
Family
ID=65905692
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018211420A Pending JP2019050018A (en) | 2018-11-09 | 2018-11-09 | Method for controlling display, information processor, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2019050018A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021047274A (en) * | 2019-09-18 | 2021-03-25 | スカパーＪｓａｔ株式会社 | Display control device, display device, and display control method, and program |
| CN113760117A (en) * | 2020-06-04 | 2021-12-07 | 富士胶片商业创新有限公司 | Information processing apparatus, information processing method, and computer-readable medium |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0523185U (en) * | 1991-09-10 | 1993-03-26 | 株式会社精工舎 | Clock with weather forecast function |
| JP2002090326A (en) * | 2000-09-20 | 2002-03-27 | Tdk Corp | Portable electronic equipment |
| JP2002314649A (en) * | 2001-04-12 | 2002-10-25 | Kyocera Corp | Portable terminal |
| JP2005174155A (en) * | 2003-12-15 | 2005-06-30 | Dainippon Printing Co Ltd | Real world virtualizing system, real-world virtualizing method, server, program, and recording medium |
| JP2006520053A (en) * | 2003-03-03 | 2006-08-31 | アメリカ オンライン インコーポレイテッド | How to use an avatar to communicate |
| JP2008142426A (en) * | 2006-12-12 | 2008-06-26 | Konami Digital Entertainment:Kk | Game system |
| JP2008546981A (en) * | 2005-06-23 | 2008-12-25 | エルジー エレクトロニクス インコーポレイティド | refrigerator |
| CN101414455A (en) * | 2007-10-17 | 2009-04-22 | 索尼株式会社 | Information providing system, equipment and method, terminal apparatus and display method |
| US20090158184A1 (en) * | 2003-03-03 | 2009-06-18 | Aol Llc, A Delaware Limited Liability Company (Formerly Known As Ameria Online, Inc.) | Reactive avatars |
| JP2011138215A (en) * | 2009-12-25 | 2011-07-14 | Sharp Corp | Display device, television set, display method, program and recording medium |
| WO2012157015A1 (en) * | 2011-05-13 | 2012-11-22 | 三菱電機株式会社 | Navigation device |
| WO2016052501A1 (en) * | 2014-09-29 | 2016-04-07 | 株式会社Ｎｔｔドコモ | User interface device, program, and content notification method |
| JP2016511852A (en) * | 2012-12-18 | 2016-04-21 | サムスン エレクトロニクス カンパニー リミテッド | Display device and image processing method thereof |
-
2018
- 2018-11-09 JP JP2018211420A patent/JP2019050018A/en active Pending
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0523185U (en) * | 1991-09-10 | 1993-03-26 | 株式会社精工舎 | Clock with weather forecast function |
| JP2002090326A (en) * | 2000-09-20 | 2002-03-27 | Tdk Corp | Portable electronic equipment |
| JP2002314649A (en) * | 2001-04-12 | 2002-10-25 | Kyocera Corp | Portable terminal |
| US20090158184A1 (en) * | 2003-03-03 | 2009-06-18 | Aol Llc, A Delaware Limited Liability Company (Formerly Known As Ameria Online, Inc.) | Reactive avatars |
| JP2006520053A (en) * | 2003-03-03 | 2006-08-31 | アメリカ オンライン インコーポレイテッド | How to use an avatar to communicate |
| JP2005174155A (en) * | 2003-12-15 | 2005-06-30 | Dainippon Printing Co Ltd | Real world virtualizing system, real-world virtualizing method, server, program, and recording medium |
| JP2008546981A (en) * | 2005-06-23 | 2008-12-25 | エルジー エレクトロニクス インコーポレイティド | refrigerator |
| JP2008142426A (en) * | 2006-12-12 | 2008-06-26 | Konami Digital Entertainment:Kk | Game system |
| CN101414455A (en) * | 2007-10-17 | 2009-04-22 | 索尼株式会社 | Information providing system, equipment and method, terminal apparatus and display method |
| JP2009098446A (en) * | 2007-10-17 | 2009-05-07 | Sony Corp | Information providing system, information providing device, information providing method, terminal unit, and display method |
| JP2011138215A (en) * | 2009-12-25 | 2011-07-14 | Sharp Corp | Display device, television set, display method, program and recording medium |
| WO2012157015A1 (en) * | 2011-05-13 | 2012-11-22 | 三菱電機株式会社 | Navigation device |
| JP2016511852A (en) * | 2012-12-18 | 2016-04-21 | サムスン エレクトロニクス カンパニー リミテッド | Display device and image processing method thereof |
| WO2016052501A1 (en) * | 2014-09-29 | 2016-04-07 | 株式会社Ｎｔｔドコモ | User interface device, program, and content notification method |
| EP3203362A1 (en) * | 2014-09-29 | 2017-08-09 | NTT DoCoMo, Inc. | User interface device, program, and content notification method |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021047274A (en) * | 2019-09-18 | 2021-03-25 | スカパーＪｓａｔ株式会社 | Display control device, display device, and display control method, and program |
| CN113760117A (en) * | 2020-06-04 | 2021-12-07 | 富士胶片商业创新有限公司 | Information processing apparatus, information processing method, and computer-readable medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10101585B2 (en) | Stereoscopic display device and control method | |
| JP6946857B2 (en) | Information processing equipment and programs | |
| US9632314B2 (en) | Head mounted display device displaying thumbnail image and method of controlling the same | |
| EP3389020B1 (en) | Information processing device, information processing method, and program | |
| JP6662914B2 (en) | Mediation reality | |
| RU2016120976A (en) | DEVICE, METHOD AND SYSTEM FOR ENHANCING AN ENLARGED DISPLAY USING A HELMET-DISPLAY | |
| CN106095089A (en) | A kind of method obtaining interesting target information | |
| CN106383587A (en) | Augmented reality scene generation method, device and equipment | |
| JP6679523B2 (en) | Image processing program, image processing system, image processing apparatus, and image processing method | |
| US11902677B2 (en) | Patch tracking image sensor | |
| US11620792B2 (en) | Fast hand meshing for dynamic occlusion | |
| KR20230028532A (en) | Creation of ground truth datasets for virtual reality experiences | |
| CN111108462A (en) | Ranging and accessory tracking for head-mounted display systems | |
| WO2017169273A1 (en) | Information processing device, information processing method, and program | |
| CN108021227B (en) | Method for rapidly moving in virtual reality and virtual reality device | |
| CN108090968B (en) | Method and device for realizing augmented reality AR and computer readable storage medium | |
| JP2019050018A (en) | Method for controlling display, information processor, and program | |
| JP2015149032A (en) | Extended reality providing system, program, and extended reality providing method | |
| TW201903563A (en) | Virtual reality system with outside-in tracking and inside-out tracking and controlling method thereof | |
| JP4986543B2 (en) | Information processing method and information processing apparatus | |
| US11494997B1 (en) | Augmented reality system with display of object with real world dimensions | |
| JP2014072570A (en) | Display device and control method | |
| CN109426419A (en) | Interface display method and related equipment | |
| JP7278341B2 (en) | Information provision system and information provision program | |
| JP2005296478A (en) | Information presentation system and 3-d marker |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181109 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190731 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190903 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191105 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191119 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200120 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200714 |