JP4409035B2 - 画像処理装置、特異箇所検出方法、及び特異箇所検出プログラムを記録した記録媒体 - Google Patents
画像処理装置、特異箇所検出方法、及び特異箇所検出プログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP4409035B2 JP4409035B2 JP2000080935A JP2000080935A JP4409035B2 JP 4409035 B2 JP4409035 B2 JP 4409035B2 JP 2000080935 A JP2000080935 A JP 2000080935A JP 2000080935 A JP2000080935 A JP 2000080935A JP 4409035 B2 JP4409035 B2 JP 4409035B2
- Authority
- JP
- Japan
- Prior art keywords
- plane
- distance
- distance image
- singular part
- object surface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000001514 detection method Methods 0.000 title claims description 88
- 238000012545 processing Methods 0.000 title claims description 59
- 238000003708 edge detection Methods 0.000 claims description 34
- 238000000034 method Methods 0.000 claims description 31
- 230000008569 process Effects 0.000 claims description 29
- 230000008859 change Effects 0.000 claims description 13
- 230000000007 visual effect Effects 0.000 claims description 2
- 238000000605 extraction Methods 0.000 description 12
- 238000005259 measurement Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000009471 action Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 238000013459 approach Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Aviation & Aerospace Engineering (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Manipulator (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、距離画像を用いてロボットや自動車が移動する際に必要な特異箇所の検出を行う画像処理装置、特異箇所検出方法、及び特異箇所検出プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術及び発明が解決しようとする課題】
自律ロボットや自動走行の自動車が安全に移動するには、交差点や下り階段等の特別な環境構造を検出する必要がある。そのため、ロボットや自動車にレーダ等を備え付けこのレーダによって得られる周囲環境の情報から行動の制御が行われることが多い。ところで、検出された情報から自己の行動の制御を行う場合には、検出される情報は正確であり、また、不要な情報が含まれないようにする必要がある。
しかしながら、ロボットや自動車が移動する際の周囲環境は複雑であるため、正確にかつ的確な情報のみを抽出するには、処理がたいへん複雑になったり、周囲環境を検出する手段を複数備えなければならないという問題がある。
【０００３】
本発明は、このような事情に鑑みてなされたもので、ロボットや自動車が自律的に移動する際に、行動の制御を必要とする特異箇所の検出を行うことができる画像処理装置、特異箇所検出方法、及び特異箇所検出プログラムを記録した記録媒体を提供することを目的とする。
【０００４】
【課題を解決するための手段】
請求項１に記載の発明は、距離センサの前方視野内の物体表面の各点の距離を測定して得られた物体表面の各点の３次元座標値に応じた距離情報を示す距離画像を得る距離画像取得手段（例えば、実施形態における距離画像取得部１）と、前記距離画像から得られる前記物体表面の３次元座標値から平面を検出する平面検出手段（例えば、実施形態における平面検出部３）と、前記距離画像によって示される前記物体表面との距離の変化量が、所定の値より大きな箇所を示す線分を示すエッジ情報を検出するエッジ検出手段（例えば、実施形態におけるエッジ検出部４）と、前記エッジ情報によって示される線分が、前記平面検出手段によって検出された平面に含まれる否かを判定する特異箇所判定手段（例えば、実施形態における特異箇所判定部５）と、前記特異箇所判定手段の結果に基づいて特異箇所を記憶する特異箇所マップ記憶手段（特異箇所マップ記憶部７）とを備えたことを特徴とする。
【０００５】
請求項１に記載の発明によれば、距離画像に対してエッジ検出処理を施し、距離の急激変化を検出するようにしたため、交差点や下り階段などの特異箇所を高速で検出することが可能となる。また、エッジ検出によって検出されたエッジと、平面検出によって検出された平面とが所定の条件を満たしたときのみ、このエッジの箇所を特異箇所としたため、特異箇所の検出精度を向上させることができる。さらに、エッジ検出と平面検出を並行して処理するようにしたため、特異箇所の検出処理速度を向上することができるという効果が得られる。
【０００６】
請求項２に記載の発明は、請求項１に記載の画像処理装置を備えた車両走行制御装置であって、前記車両走行制御装置は、車両の走行の際に前記特異箇所マップを参照して、走行の制御を行う移動制御手段（例えば、実施形態における移動制御部８）を備えたことを特徴とする。
【０００７】
請求項２に記載の発明によれば、特異箇所マップを参照しながら自動車の移動を制御するようにしたため、精度よく自動車の位置の制御を行うことができるとともに、特異箇所への接近に伴い必要な行動を起こす制御をすることが可能になるという効果が得られる。
【０００８】
請求項３に記載の発明は、請求項１に記載の画像処理装置を備えた自律走行ロボットであって、前記自律走行ロボットは、ロボットの移動の際に前記特異箇所マップを参照して、走行の制御を行う移動制御手段（例えば、実施形態における移動制御部８）を備えたことを特徴とする。
【０００９】
請求項３に記載の発明によれば、特異箇所マップを参照しながらロボットの移動を制御するようにしたため、精度よくロボットの位置の制御を行うことができるとともに、特異箇所への接近に伴い必要な行動を起こす制御をすることが可能になるという効果が得られる。
【００１０】
請求項４に記載の発明は、距離センサの前方視野内の物体表面の各点の距離を測定して得られた物体表面の各点の３次元座標値応じた距離情報を示す距離画像を得る距離画像取得処理と、前記距離画像から得られる前記物体表面の３次元座標値から平面を検出する平面検出処理（例えば、実施形態におけるステップＳ１）と、前記距離画像によって示される前記物体表面との距離の変化量が、所定の値より大きな箇所を示す線分を示すエッジ情報を検出するエッジ検出処理（例えば、実施形態におけるステップＳ２）と、前記エッジ情報によって示される線分が、前記平面検出手段によって検出された平面に含まれるか否かを判定する特異箇所判定処理（例えば、実施形態におけるステップＳ５）とを有することを特徴とする。
【００１１】
請求項４に記載の発明によれば、距離画像に対してエッジ検出処理を施し、距離の急激変化を検出するようにしたため、交差点や下り階段などの特異箇所を高速で検出することが可能となる。また、エッジ検出によって検出されたエッジと、平面検出によって検出された平面とが所定の条件を満たしたときのみ、このエッジの箇所を特異箇所としたため、特異箇所の検出精度を向上させることができる。さらに、エッジ検出と平面検出を並行して処理するようにしたため、特異箇所の検出処理速度を向上することができるという効果が得られる。
【００１２】
請求項５に記載の発明は、前方視野内の特異箇所を検出する特異箇所検出プログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記特異箇所検出プログラムは、距離センサの前方視野内の物体表面の各点の距離を測定して得られた物体表面の各点の３次元座標値応じた距離情報を示す距離画像を得る距離画像取得処理と、前記距離画像から得られる前記物体表面の３次元座標値から平面を検出する平面検出処理（例えば、実施形態におけるステップＳ１）と、前記距離画像によって示される前記物体表面との距離の変化量が、所定の値より大きな箇所を示す線分を示すエッジ情報を検出するエッジ検出処理（例えば、実施形態におけるステップＳ２）と、前記エッジ情報によって示される線分が、前記平面検出手段によって検出された平面に含まれるか否かを判定する特異箇所判定処理（例えば、実施形態におけるステップＳ５）とをコンピュータに行わせることを特徴とする。
【００１３】
請求項５に記載の発明によれば、距離画像に対してエッジ検出処理を施し、距離の急激変化を検出するようにしたため、交差点や下り階段などの特異箇所を高速で検出することが可能となる。また、エッジ検出によって検出されたエッジと、平面検出によって検出された平面とが所定の条件を満たしたときのみ、このエッジの箇所を特異箇所としたため、特異箇所の検出精度を向上させることができる。さらに、エッジ検出と平面検出を並行して処理するようにしたため、特異箇所の検出処理速度を向上することができるという効果が得られる。
【００１４】
【発明の実施の形態】
以下、本発明の一実施形態による画像処理装置を図面を参照して説明する。 図１は同実施形態の構成を示すブロック図である。この図において、符号１は、ロボットや自動車が移動する際の移動方向の視野内に存在する物体の距離画像を取得する距離画像取得部である。この距離画像取得部１の距離センサは、２台のＣＣＤカメラや電磁波を用いたレーダ等で構成される。符号２は、距離画像取得部１において得られた距離画像の１フレーム分を記憶する距離画像記憶部である。符号３は、距離画像記憶部２に記憶された距離画像を処理して平面を検出する平面検出部である。
【００１５】
符号４は、距離画像記憶部２に記憶された距離画像を処理してエッジ検出を行うエッジ検出部である。符号５は、平面検出部３及びエッジ検出部４の検出結果に基づいて特異箇所を判定する特異箇所判定部である。符号６は、平面検出結果を参照して、距離画像から特異箇所マップに使用する平面図へ変換する距離画像変換部である。符号７は、距離画像変換部６によって作成された平面図と特異箇所判定部５の判定結果に基づいて作成される特異箇所マップを記憶する特異箇所マップ記憶部である。符号８は、特異箇所マップを参照してロボットや自動車等の移動を制御する移動制御部である。
ここでは、図１に示す画像処理装置は屋内を移動する自律走行のロボットに備えられているものとして説明する。
【００１６】
ここで、以下の説明において用いる座標系を定義する。ロボットの前方の距離方向をＸ軸、ロボットの左右方向をＹ軸、鉛直方向をＺ軸とし、これらの３軸は互いに直交している。また、以下でいう距離とは、距離画像取得部１から各物体までの直線距離である。したがって、距離画像データは、距離画像取得部１の測定視野における物体表面の測定点の３次元座標値の集合である。
【００１７】
次に、図面を参照して、図１に示す画像処理装置の動作を説明する。図２は、図１に示す画像処理装置の動作を示すフローチャートである。
まず、距離画像取得部１は、距離画像を取得し、そのデータをＡ／Ｄ変換して各測定点毎に距離画像記憶部２へ格納する。ここでは、一例として各測定点の距離を８ビット（２５６階調）で表現するものとする。通常の画像の画素は、センサの視野内における物体表面の輝度を表現したものであるが、距離画像の画素は、センサの視野内における物体表面までの距離を２５６階調で表現したものである。
【００１８】
したがって、距離画像中の画素の位置によって、ＹＺ平面上の１点を特定することができ、さらにこの画素がもつ距離の情報によってＸ軸方向の位置を特定することができるため、３次元空間に存在する物体の表面上の１点を特定することができる。なお、より精度が必要な場合には、レーダを併用するなどして精度を向上させることもできる。さらに、距離データを２５６階調で表現せずに、距離センサの出力値をそのまま使用するようにしてもよい。ここで、現時点におけるロボットの位置関係を定義するために、ロボットの前方視野の情景の一例を図３に示す。図３に示すように、ロボットは、廊下がＴ字になるように交差している位置へ接近しているものとする。
【００１９】
次に、距離画像記憶部２に距離画像が格納された後に、平面検出部３は、距離画像記憶部２に記憶されている距離画像を読み取り、この距離画像を処理して平面の検出を行う（ステップＳ１）。この平面検出処理の詳細な説明は、後述するが、後述する検出処理に限らず周知の処理方法が利用できる。この平面検出処理によって、平面検出部３内には、図４に示す平面検出結果の画像が得られる。この処理によって検出された平面は式（１）によって表される。
ａkｘ＋ｂkｙ＋ｃkｚ＝ｄk・・・・・・・（１）
ただし、ｋは面毎に区別するためのインデックスである。
【００２０】
一方、平面検出部３の処理と並行して、エッジ検出部４は、平面検出部３が読み込んだ距離画像と同一の距離画像を読み取り、この距離画像を処理してエッジの検出を行う（ステップＳ２）。通常の輝度画像に対する画像処理においては、輝度変化が急激な箇所をエッジとして抽出する処理を行うが、距離画像に対するエッジ検出は、距離の変化が急激な箇所をエッジと抽出するものである。このエッジ検出処理には、輝度画像に対する周知の画像処理技術を用いることができ、例えば、距離画像に対して、Ｓｏｂｅｌフィルタを用いてエッジ検出のための２値画像を生成し、この２値画像に対して、さらにＨｏｕｇｈ変換を用いて線分を抽出すればよい。このエッジ検出処理によって、エッジ検出部４内には、図５に示すエッジ検出結果の画像が得られる。また、この処理によって、抽出線分の方向ベクトルｎ＝（ｘj，ｙj，ｚj）と抽出線分上の任意の点Ｐj0＝（ｘ0，ｙ0，ｚ0）が得られる。
【００２１】
次に、距離画像変換部６は、距離画像記憶部２に記憶されている距離画像と、平面検出部３における平面検出結果から平面図を生成する（ステップＳ３）。ここでいう平面図とは、ロボットの上方から見た位置関係を示す画像であり、ＸＹ平面に測定点を投影して生成される。この処理によって得られる平面図の画像の一例を図６に示す。この図に示すように、平面図画像は、廊下の配置関係と自己の位置を把握することができる画像となっている。
【００２２】
次に、特異箇所判定部５は、エッジ検出部４に保持されているエッジ情報を１つずつ読み出す（ステップＳ４）。そして、特異箇所判定部５は、この読み出したエッジに対応する平面が、平面検出部３内に保持されているか否かを判定する（ステップＳ５）。この判定は、式（２）、（３）を満たすか否かによって判定される。
｜ａkｘj＋ｂkｙj＋ｃkｚj｜≦εv・・・・・・・（２）
｜ａkｘ0＋ｂkｙ0＋ｃkｚ0−ｄk｜≦εp・・・・・（３）
ただし、εv，εpはしきい値であり、０に近い値である。
式（２）が満たされれば、抽出された線分の方向ベクトルと平面の法線ベクトルが９０度で直交していることを意味する。また、式（３）が満たされれば、抽出された線分上の各点が式（１）によって定義される面上に存在することを意味する。
【００２３】
この判定の結果、対応する平面が存在しない場合、ステップＳ７へ進む。一方、対応する平面が存在した場合、特異箇所判定部５は、対応する平面とエッジの情報からその位置を求め、この求められた位置を特異箇所として距離画像変換部６が生成した特異箇所マップ上にマーキングすることによって特異箇所マップを更新する（ステップＳ６）。図６に特異箇所をマーキングした状態の特異箇所マップを示す。
【００２４】
次に、特異箇所判定部５は、エッジ検出部４において検出されたエッジの全てについて処理を行ったか否かを判定し、行っていなければステップＳ４へ戻り処理を繰り返す。一方、全てのエッジについて処理を行った場合は特異箇所検出処理を終了する。距離画像取得部１は、１回の特異箇所検出処理が終了したのを受けて、新たな距離画像を取得して、その結果を距離画像記憶部２へ格納する。そして、前述したステップＳ１〜Ｓ７の処理を再度実行する。これによって、ロボットの移動に伴い特異箇所マップが更新される。
【００２５】
このように、距離画像に対してエッジ検出処理を施し、距離の急激変化を検出するようにしたため、交差点や下り階段などの特異箇所を高速で検出することが可能となる。また、エッジ検出によって検出されたエッジと、平面検出によって検出された平面とが所定の条件を満たしたときのみ、このエッジの箇所を特異箇所としたため、特異箇所の検出精度を向上させることができる。さらに、エッジ検出と平面検出を並行して処理するようにしたため、特異箇所の検出処理速度を向上することができる。
【００２６】
一方、移動制御部８は、時々刻々更新される特異箇所マップ記憶部７の内容を参照しながら、特異箇所を認識することによって移動経路の設定を行うとともに、特異箇所に接近した時点で走行速度を小さくするなどのロボットの移動制御を行う。これによって交差点に接近したときに走行速度を小さくして出会い頭の衝突を回避する等の行動が起こしやすくなり、周囲の環境構造に応じて車速等を制御することができる。
【００２７】
次に、平面検出部３が平面を検出する動作を説明する。図７は、平面検出部３３が距離画像から壁に相当する垂直平面を抽出する動作を示すフローチャートである。
平面検出部３は、１フレーム分の距離データを読み出し、予め設定されているマスクによって画像上の着目画素（ここでは、Ｐ１と称する）と他の１点の画素（ここでは、Ｐ２と称する）を選択する（ステップＳ１２）。図９（ａ）にステップＳ１において用いられるマスクの一例を示す。この図に示すように、垂直平面用マスクは５×５画素のものであり、中心の点がＰ１であり、４隅の点がＰ２となる。
【００２８】
次に、平面検出部３は、このマスクによって選択された２点Ｐ１（ｘ1，ｙ1，ｚ1）、Ｐ２（ｘ2，ｙ2，ｚ2）から式（４）、（５）によって、Ｈｏｕｇｈ空間上のパラメータθ、ρを求める（ステップＳ１２）。
θ＝−ｔａｎ-1［（ｘ1−ｘ2）／（ｙ1−ｙ2）］・・・・（４）
ρ＝ｘ1ｃｏｓθ＋ｙ2ｓｉｎθ・・・・・・・・・・・（５）
式（４）、（５）に示すように、パラメータθ、ρは、Ｚ成分を用いずにＸ成分及びＹ成分のみによって算出される。図７に示す処理は、壁等の垂直平面を抽出する処理であるため、Ｚ成分を無視することができる。特に屋内においては、垂直平面がほとんどであるため、Ｚ成分を無視しても平面抽出の処理結果に及ぼす影響は小さくすることができる。したがって、３次元座標値を有する物体表面上の測定点をＸＹ平面に投影し、その投影された点からＸＹ平面上の直線を抽出すれば３次元空間上の垂直平面を抽出することができる。ここで、式（４）、（５）によって算出されるパラメータθは、抽出しようとする直線が鉛直軸周りになす回転角度であり、パラメータρは、この直線と原点との距離を表している。
【００２９】
次に、平面検出部３は、ステップＳ１２において求めたパラメータθ、ρを３次元ヒストグラムへ投票する（ステップＳ１３）。続いて、平面検出部３は、同一のＰ１に対して、他の３つのＰ２（図９（ａ）における斜線の位置）についてステップＳ１１〜Ｓ１３の処理を行う（ステップＳ１４）。さらに、平面検出部３は、図９（ａ）に示すマスクを使用して、図１０に示すように、距離画像の左上の位置から右下の位置まで距離画像全体に対してＰ１の位置を１画素分ずつ移し、ステップＳ１１〜Ｓ１３の処理を繰り返す（ステップＳ１５）。この処理によって、３次元ヒストグラムが生成される。
【００３０】
次に、平面検出部３は、３次元ヒストグラムを参照して、度数のすべての極大値を抽出する（ステップＳ１６）。そして、抽出した極大値を持つパラメータθ、ρを求め、このθ、ρによって、ＸＹ平面上の直線を特定する。したがって、ここで特定される直線の数は、極大値の数と同数となる。
なお、極大値の抽出において、ある大きさ以上の極大値のみを抽出するようにしてもよい。
【００３１】
次に、平面検出部３は、３次元座標値を持つ測定点をＸＹ平面に投影した点が、先に特定された直線上の点となるか否かによってこの測定点が平面上の点であるか否かを判定する。そして、この判定を特定された直線毎に行うことによって、距離画像上の垂直平面を抽出し、この結果から平面抽出画像を生成する（ステップＳ１７）。この平面抽出画像は、同一の直線上に存在する測定点を、特定された直線毎に色分けするなどして生成すればよい。この処理によって、垂直平面のみが色付けされて抽出され、垂直平面でない部分は色付けがされていない状態の平面抽出画像が得られる。
【００３２】
次に、図８を参照して、平面検出部３が床等に相当する水平平面を抽出する動作を説明する。図８は、平面検出部３が水平平面を抽出する動作を示すフローチャートである。ここでいう水平平面とは、床面や道路面のことであり、現実的なスロープの角度（例えば最大で１０度）を有する床面や道路面が含まれる。
まず、距離画像記憶部２に距離画像が格納された後に平面検出部３は、１フレーム分の距離データを読み出し、予め設定されているマスクによって画像上の着目画素（ここでは、Ｐ１と称する）と他の２点の画素（ここでは、Ｐ２、Ｐ３と称する）を選択する（ステップＳ２１）。図９（ｂ）にステップＳ２１において用いられるマスクの一例を示す。この図に示すように、水平平面用マスクは９×９画素のものであり、中心の５×５画素の部分は、図９（ａ）に示す垂直平面用マスクと同等であり、さらにこのマスクは、９×９画素の４隅がＰ３となっている。
【００３３】
次に、平面検出部３は、このマスクによって選択された３点Ｐ１（ｘ1，ｙ1，ｚ1）、Ｐ２（ｘ2，ｙ2，ｚ2）、Ｐ３（ｘ3，ｙ3，ｚ3）から式（６）、（７）によって、単位外積ベクトルｎを求める（ステップＳ２２）。以下の式の説明において、ベクトルの表現を「ベクトルｎ」という表現を用いる。
【００３４】
単位外積ベクトルｎは、式（６）によって、まず外積ベクトルｎtmpを求め、さらにこれを式（７）によって正規化することによって求められる。
外積ベクトルｎtmp＝（（ｙ2−ｙ1）（ｚ3−ｚ1）−（ｚ2−ｚ1）（ｙ3−ｙ1），
（ｚ2−ｚ1）（ｘ3−ｘ1）−（ｘ2−ｘ1）（ｚ3−ｚ1），
（ｙ2−ｙ1）（ｚ3−ｚ1）−（ｚ2−ｚ1）（ｙ3−ｙ1））・・・（６）
単位外積ベクトルｎ＝ベクトルｎtmp／｜ベクトルｎtmp｜・・・・・・・・・・・・（７）
式（７）によって正規化された大きさ１の単位外積ベクトルｎは、
単位外積ベクトルｎ＝（ｎx，ｎy，ｎz）となり、このベクトルが先に選択した３点で張る面の垂直ベクトルとなる。
【００３５】
次に、平面検出部３は、求めた単位外積ベクトルｎから式（８）、（９）、（１０）、（１１）によって、パラメータρ、θx、θy、θzを求める（ステップＳ２３）。
ρ＝ｎxｘ1＋ｎyｙ1＋ｎzｚ1・・・・・・（８）
θx＝ｃｏｓ-1ｎx・・・・・・・・・・・（９）
θy＝ｃｏｓ-1ｎy・・・・・・・・・・・（１０）
θz＝ｃｏｓ-1ｎz・・・・・・・・・・・（１１）
ここで、パラメータρは、抽出しようとする平面に原点からの距離を表し、パラメータθx、θy、θzは、それぞれ垂直ベクトルの各成分に対する方向余弦に対する角度を表している。
【００３６】
次に、平面検出部３は、垂直ベクトルのＺ成分の方向余弦に対する角度 θzが、｜θz｜≦Ｔｈを満たすか否かを判定する（ステップＳ２４）。ここで、Ｔｈはしきい値であり、床面や道路面のスロープの最大角度である。通常、屋内における床面はスロープを考慮しても最大で１０度程度であるので、このＴｈは１０度を設定することが望ましい。
【００３７】
次に、平面検出部３は、ステップＳ２４において、｜θz｜≦Ｔｈを満たしていれば、ステップＳ２３において求めたパラメータρ、θx、θy、θzを４次元ヒストグラムへ投票する（ステップＳ２５）。一方、｜θz｜≦Ｔｈを満たしていなければ、ステップＳ２６へ進む。
【００３８】
続いて、平面検出部３は、同一のＰ１に対して、他の３つのＰ２及び他の３つのＰ３（図９（ｂ）における斜線の位置）についてステップＳ２１〜Ｓ２５の処理を行う（ステップＳ２６）。さらに、平面検出部３は、図９（ｂ）に示すマスクを使用して、図１０に示すように、距離画像の左上の位置から右下の位置まで距離画像全体に対してＰ１の位置を１画素分ずつ移し、ステップＳ２１〜Ｓ２５の処理を繰り返す（ステップＳ２７）。この処理によって、４次元ヒストグラムが生成される。
ただし、投票されるのは、｜θz｜≦Ｔｈが満たされたときのみである。
【００３９】
次に、平面検出部３は、４次元ヒストグラムを参照して、度数のすべての極大値を抽出する（ステップＳ２８）。そして、抽出した極大値を持つパラメータρ、θx、θy、θzを求め、このρ、θx、θy、θzによって、３次元空間上の平面を特定する。したがって、ここで特定される平面の数は、極大値の数と同数となる。
なお、極大値の抽出において、ある大きさ以上の極大値のみを抽出するようにしてもよい。
【００４０】
次に、平面検出部３は、特定された水平平面から平面抽出画像を生成する（ステップＳ２９）。この平面抽出画像は、特定された平面上に存在する測定点を、特定された平面毎に色分けするなどして生成すればよい。この処理によって、水平平面のみが色付けされて抽出され、水平平面でない部分は色付けがされていない状態の平面抽出画像が得られる。
【００４１】
なお、図７に示す垂直平面抽出処理と図８に示す水平平面抽出処理は、同時に動作し、その結果を合成して、垂直平面と水平平面とが色分けされた平面抽出画像を生成するようにしてもよい。また、距離画像取得部１は、平面検出部３および平面検出部３が、距離画像記憶部２に記憶されている距離データの読み出しが終了した時点で、新たな距離画像を取得し、距離画像記憶部２を更新するようにする。そして、前述した処理を繰り返すことによって、平面検出画像を更新する。図１１に平面検出画像の一例を示す。
【００４２】
このように、垂直平面の検出の際にＺ成分を用いずにＸ、Ｙ成分のみによって演算を行い、３次元のヒストグラムを使用してＸＹ平面の直線を特定することによって壁に相当する垂直平面を抽出するようにしたため、使用するメモリ量を削減することができ、さらに処理時間も短縮することができる。また、床面や道路面に相当する水平平面の検出の際に、検出しようとする平面の候補に対して、垂直ベクトルの角度が所定の範囲内である候補のみを使用して４次元ヒストグラムの投票を行うようにしたため、使用するメモリ量を削減することができ、さらに処理時間も短縮することができる。また、垂直平面と水平平面の検出処理を分けて、並行して同時に動作するようにしたため、さらに処理効率を向上させることが可能となる。さらに平面検出画像と距離画像を参照しながらロボットの移動を制御するようにしたため、精度よくロボットの位置の制御を行うことができるとともに、処理時間を短縮することが可能となるためにロボット内における経路選定処理の負荷を低減することが可能となる。また、マスクを用いて投票範囲を制限したので、処理時間を短縮できるととに平面の検出精度が向上する。
【００４３】
なお、図２、７、８における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより特箇所検出処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フロッピーディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００４４】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００４５】
【発明の効果】
以上説明したように、請求項１、４、５に記載の発明によれば、距離画像に対してエッジ検出処理を施し、距離の急激変化を検出するようにしたため、交差点や下り階段などの特異箇所を高速で検出することが可能となる。また、エッジ検出によって検出されたエッジと、平面検出によって検出された平面とが所定の条件を満たしたときのみ、このエッジの箇所を特異箇所としたため、特異箇所の検出精度を向上させることができる。さらに、エッジ検出と平面検出を並行して処理するようにしたため、特異箇所の検出処理速度を向上することができるという効果が得られる。
【００４６】
また、請求項２に記載の発明によれば、特異箇所マップを参照しながら自動車の移動を制御するようにしたため、精度よく自動車の位置の制御を行うことができるとともに、特異箇所への接近に伴い必要な行動を起こす制御をすることが可能になるという効果が得られる。
【００４７】
また、請求項３に記載の発明によれば、特異箇所マップを参照しながらロボットの移動を制御するようにしたため、精度よくロボットの位置の制御を行うことができるとともに、特異箇所への接近に伴い必要な行動を起こす制御をすることが可能になるという効果が得られる。
【図面の簡単な説明】
【図１】 本発明の一実施形態の構成を示すブロック図である。
【図２】 図１に示す画像処理装置の動作を示すフローチャートである。
【図３】 ロボットの前方視野の情景の一例を示す説明図である。
【図４】 図１に示す平面検出部３によって生成された平面検出画像の一例を示す説明図である。
【図５】 図１に示すエッジ検出部４によって生成されたエッジ検出画像の一例を示す説明図である。
【図６】 図１に示す特異箇所マップ記憶部７に記憶される特異箇所マップの一例を示す説明図である。
【図７】 図１に示す平面検出部３の動作を示すフローチャートである。
【図８】 図１に示す平面検出部３の動作を示すフローチャートである。
【図９】 図１に示す平面検出部３において用いられるマスクの一例を示す説明図である。
【図１０】 図１に示す平面検出部３の処理において、距離画像の走査方向の一例を示す説明図である。
【図１１】 図１に示す平面検出部３によって生成された平面検出画像の一例を示す説明図である。
【符号の説明】
１・・・距離画像取得部、
２・・・距離画像記憶部、
３・・・平面検出部、
４・・・エッジ検出部、
５・・・特異箇所判定部、
６・・・距離画像変換部、
７・・・特異箇所マップ記憶部、
８・・・移動制御部。
【発明の属する技術分野】
本発明は、距離画像を用いてロボットや自動車が移動する際に必要な特異箇所の検出を行う画像処理装置、特異箇所検出方法、及び特異箇所検出プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術及び発明が解決しようとする課題】
自律ロボットや自動走行の自動車が安全に移動するには、交差点や下り階段等の特別な環境構造を検出する必要がある。そのため、ロボットや自動車にレーダ等を備え付けこのレーダによって得られる周囲環境の情報から行動の制御が行われることが多い。ところで、検出された情報から自己の行動の制御を行う場合には、検出される情報は正確であり、また、不要な情報が含まれないようにする必要がある。
しかしながら、ロボットや自動車が移動する際の周囲環境は複雑であるため、正確にかつ的確な情報のみを抽出するには、処理がたいへん複雑になったり、周囲環境を検出する手段を複数備えなければならないという問題がある。
【０００３】
本発明は、このような事情に鑑みてなされたもので、ロボットや自動車が自律的に移動する際に、行動の制御を必要とする特異箇所の検出を行うことができる画像処理装置、特異箇所検出方法、及び特異箇所検出プログラムを記録した記録媒体を提供することを目的とする。
【０００４】
【課題を解決するための手段】
請求項１に記載の発明は、距離センサの前方視野内の物体表面の各点の距離を測定して得られた物体表面の各点の３次元座標値に応じた距離情報を示す距離画像を得る距離画像取得手段（例えば、実施形態における距離画像取得部１）と、前記距離画像から得られる前記物体表面の３次元座標値から平面を検出する平面検出手段（例えば、実施形態における平面検出部３）と、前記距離画像によって示される前記物体表面との距離の変化量が、所定の値より大きな箇所を示す線分を示すエッジ情報を検出するエッジ検出手段（例えば、実施形態におけるエッジ検出部４）と、前記エッジ情報によって示される線分が、前記平面検出手段によって検出された平面に含まれる否かを判定する特異箇所判定手段（例えば、実施形態における特異箇所判定部５）と、前記特異箇所判定手段の結果に基づいて特異箇所を記憶する特異箇所マップ記憶手段（特異箇所マップ記憶部７）とを備えたことを特徴とする。
【０００５】
請求項１に記載の発明によれば、距離画像に対してエッジ検出処理を施し、距離の急激変化を検出するようにしたため、交差点や下り階段などの特異箇所を高速で検出することが可能となる。また、エッジ検出によって検出されたエッジと、平面検出によって検出された平面とが所定の条件を満たしたときのみ、このエッジの箇所を特異箇所としたため、特異箇所の検出精度を向上させることができる。さらに、エッジ検出と平面検出を並行して処理するようにしたため、特異箇所の検出処理速度を向上することができるという効果が得られる。
【０００６】
請求項２に記載の発明は、請求項１に記載の画像処理装置を備えた車両走行制御装置であって、前記車両走行制御装置は、車両の走行の際に前記特異箇所マップを参照して、走行の制御を行う移動制御手段（例えば、実施形態における移動制御部８）を備えたことを特徴とする。
【０００７】
請求項２に記載の発明によれば、特異箇所マップを参照しながら自動車の移動を制御するようにしたため、精度よく自動車の位置の制御を行うことができるとともに、特異箇所への接近に伴い必要な行動を起こす制御をすることが可能になるという効果が得られる。
【０００８】
請求項３に記載の発明は、請求項１に記載の画像処理装置を備えた自律走行ロボットであって、前記自律走行ロボットは、ロボットの移動の際に前記特異箇所マップを参照して、走行の制御を行う移動制御手段（例えば、実施形態における移動制御部８）を備えたことを特徴とする。
【０００９】
請求項３に記載の発明によれば、特異箇所マップを参照しながらロボットの移動を制御するようにしたため、精度よくロボットの位置の制御を行うことができるとともに、特異箇所への接近に伴い必要な行動を起こす制御をすることが可能になるという効果が得られる。
【００１０】
請求項４に記載の発明は、距離センサの前方視野内の物体表面の各点の距離を測定して得られた物体表面の各点の３次元座標値応じた距離情報を示す距離画像を得る距離画像取得処理と、前記距離画像から得られる前記物体表面の３次元座標値から平面を検出する平面検出処理（例えば、実施形態におけるステップＳ１）と、前記距離画像によって示される前記物体表面との距離の変化量が、所定の値より大きな箇所を示す線分を示すエッジ情報を検出するエッジ検出処理（例えば、実施形態におけるステップＳ２）と、前記エッジ情報によって示される線分が、前記平面検出手段によって検出された平面に含まれるか否かを判定する特異箇所判定処理（例えば、実施形態におけるステップＳ５）とを有することを特徴とする。
【００１１】
請求項４に記載の発明によれば、距離画像に対してエッジ検出処理を施し、距離の急激変化を検出するようにしたため、交差点や下り階段などの特異箇所を高速で検出することが可能となる。また、エッジ検出によって検出されたエッジと、平面検出によって検出された平面とが所定の条件を満たしたときのみ、このエッジの箇所を特異箇所としたため、特異箇所の検出精度を向上させることができる。さらに、エッジ検出と平面検出を並行して処理するようにしたため、特異箇所の検出処理速度を向上することができるという効果が得られる。
【００１２】
請求項５に記載の発明は、前方視野内の特異箇所を検出する特異箇所検出プログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記特異箇所検出プログラムは、距離センサの前方視野内の物体表面の各点の距離を測定して得られた物体表面の各点の３次元座標値応じた距離情報を示す距離画像を得る距離画像取得処理と、前記距離画像から得られる前記物体表面の３次元座標値から平面を検出する平面検出処理（例えば、実施形態におけるステップＳ１）と、前記距離画像によって示される前記物体表面との距離の変化量が、所定の値より大きな箇所を示す線分を示すエッジ情報を検出するエッジ検出処理（例えば、実施形態におけるステップＳ２）と、前記エッジ情報によって示される線分が、前記平面検出手段によって検出された平面に含まれるか否かを判定する特異箇所判定処理（例えば、実施形態におけるステップＳ５）とをコンピュータに行わせることを特徴とする。
【００１３】
請求項５に記載の発明によれば、距離画像に対してエッジ検出処理を施し、距離の急激変化を検出するようにしたため、交差点や下り階段などの特異箇所を高速で検出することが可能となる。また、エッジ検出によって検出されたエッジと、平面検出によって検出された平面とが所定の条件を満たしたときのみ、このエッジの箇所を特異箇所としたため、特異箇所の検出精度を向上させることができる。さらに、エッジ検出と平面検出を並行して処理するようにしたため、特異箇所の検出処理速度を向上することができるという効果が得られる。
【００１４】
【発明の実施の形態】
以下、本発明の一実施形態による画像処理装置を図面を参照して説明する。 図１は同実施形態の構成を示すブロック図である。この図において、符号１は、ロボットや自動車が移動する際の移動方向の視野内に存在する物体の距離画像を取得する距離画像取得部である。この距離画像取得部１の距離センサは、２台のＣＣＤカメラや電磁波を用いたレーダ等で構成される。符号２は、距離画像取得部１において得られた距離画像の１フレーム分を記憶する距離画像記憶部である。符号３は、距離画像記憶部２に記憶された距離画像を処理して平面を検出する平面検出部である。
【００１５】
符号４は、距離画像記憶部２に記憶された距離画像を処理してエッジ検出を行うエッジ検出部である。符号５は、平面検出部３及びエッジ検出部４の検出結果に基づいて特異箇所を判定する特異箇所判定部である。符号６は、平面検出結果を参照して、距離画像から特異箇所マップに使用する平面図へ変換する距離画像変換部である。符号７は、距離画像変換部６によって作成された平面図と特異箇所判定部５の判定結果に基づいて作成される特異箇所マップを記憶する特異箇所マップ記憶部である。符号８は、特異箇所マップを参照してロボットや自動車等の移動を制御する移動制御部である。
ここでは、図１に示す画像処理装置は屋内を移動する自律走行のロボットに備えられているものとして説明する。
【００１６】
ここで、以下の説明において用いる座標系を定義する。ロボットの前方の距離方向をＸ軸、ロボットの左右方向をＹ軸、鉛直方向をＺ軸とし、これらの３軸は互いに直交している。また、以下でいう距離とは、距離画像取得部１から各物体までの直線距離である。したがって、距離画像データは、距離画像取得部１の測定視野における物体表面の測定点の３次元座標値の集合である。
【００１７】
次に、図面を参照して、図１に示す画像処理装置の動作を説明する。図２は、図１に示す画像処理装置の動作を示すフローチャートである。
まず、距離画像取得部１は、距離画像を取得し、そのデータをＡ／Ｄ変換して各測定点毎に距離画像記憶部２へ格納する。ここでは、一例として各測定点の距離を８ビット（２５６階調）で表現するものとする。通常の画像の画素は、センサの視野内における物体表面の輝度を表現したものであるが、距離画像の画素は、センサの視野内における物体表面までの距離を２５６階調で表現したものである。
【００１８】
したがって、距離画像中の画素の位置によって、ＹＺ平面上の１点を特定することができ、さらにこの画素がもつ距離の情報によってＸ軸方向の位置を特定することができるため、３次元空間に存在する物体の表面上の１点を特定することができる。なお、より精度が必要な場合には、レーダを併用するなどして精度を向上させることもできる。さらに、距離データを２５６階調で表現せずに、距離センサの出力値をそのまま使用するようにしてもよい。ここで、現時点におけるロボットの位置関係を定義するために、ロボットの前方視野の情景の一例を図３に示す。図３に示すように、ロボットは、廊下がＴ字になるように交差している位置へ接近しているものとする。
【００１９】
次に、距離画像記憶部２に距離画像が格納された後に、平面検出部３は、距離画像記憶部２に記憶されている距離画像を読み取り、この距離画像を処理して平面の検出を行う（ステップＳ１）。この平面検出処理の詳細な説明は、後述するが、後述する検出処理に限らず周知の処理方法が利用できる。この平面検出処理によって、平面検出部３内には、図４に示す平面検出結果の画像が得られる。この処理によって検出された平面は式（１）によって表される。
ａkｘ＋ｂkｙ＋ｃkｚ＝ｄk・・・・・・・（１）
ただし、ｋは面毎に区別するためのインデックスである。
【００２０】
一方、平面検出部３の処理と並行して、エッジ検出部４は、平面検出部３が読み込んだ距離画像と同一の距離画像を読み取り、この距離画像を処理してエッジの検出を行う（ステップＳ２）。通常の輝度画像に対する画像処理においては、輝度変化が急激な箇所をエッジとして抽出する処理を行うが、距離画像に対するエッジ検出は、距離の変化が急激な箇所をエッジと抽出するものである。このエッジ検出処理には、輝度画像に対する周知の画像処理技術を用いることができ、例えば、距離画像に対して、Ｓｏｂｅｌフィルタを用いてエッジ検出のための２値画像を生成し、この２値画像に対して、さらにＨｏｕｇｈ変換を用いて線分を抽出すればよい。このエッジ検出処理によって、エッジ検出部４内には、図５に示すエッジ検出結果の画像が得られる。また、この処理によって、抽出線分の方向ベクトルｎ＝（ｘj，ｙj，ｚj）と抽出線分上の任意の点Ｐj0＝（ｘ0，ｙ0，ｚ0）が得られる。
【００２１】
次に、距離画像変換部６は、距離画像記憶部２に記憶されている距離画像と、平面検出部３における平面検出結果から平面図を生成する（ステップＳ３）。ここでいう平面図とは、ロボットの上方から見た位置関係を示す画像であり、ＸＹ平面に測定点を投影して生成される。この処理によって得られる平面図の画像の一例を図６に示す。この図に示すように、平面図画像は、廊下の配置関係と自己の位置を把握することができる画像となっている。
【００２２】
次に、特異箇所判定部５は、エッジ検出部４に保持されているエッジ情報を１つずつ読み出す（ステップＳ４）。そして、特異箇所判定部５は、この読み出したエッジに対応する平面が、平面検出部３内に保持されているか否かを判定する（ステップＳ５）。この判定は、式（２）、（３）を満たすか否かによって判定される。
｜ａkｘj＋ｂkｙj＋ｃkｚj｜≦εv・・・・・・・（２）
｜ａkｘ0＋ｂkｙ0＋ｃkｚ0−ｄk｜≦εp・・・・・（３）
ただし、εv，εpはしきい値であり、０に近い値である。
式（２）が満たされれば、抽出された線分の方向ベクトルと平面の法線ベクトルが９０度で直交していることを意味する。また、式（３）が満たされれば、抽出された線分上の各点が式（１）によって定義される面上に存在することを意味する。
【００２３】
この判定の結果、対応する平面が存在しない場合、ステップＳ７へ進む。一方、対応する平面が存在した場合、特異箇所判定部５は、対応する平面とエッジの情報からその位置を求め、この求められた位置を特異箇所として距離画像変換部６が生成した特異箇所マップ上にマーキングすることによって特異箇所マップを更新する（ステップＳ６）。図６に特異箇所をマーキングした状態の特異箇所マップを示す。
【００２４】
次に、特異箇所判定部５は、エッジ検出部４において検出されたエッジの全てについて処理を行ったか否かを判定し、行っていなければステップＳ４へ戻り処理を繰り返す。一方、全てのエッジについて処理を行った場合は特異箇所検出処理を終了する。距離画像取得部１は、１回の特異箇所検出処理が終了したのを受けて、新たな距離画像を取得して、その結果を距離画像記憶部２へ格納する。そして、前述したステップＳ１〜Ｓ７の処理を再度実行する。これによって、ロボットの移動に伴い特異箇所マップが更新される。
【００２５】
このように、距離画像に対してエッジ検出処理を施し、距離の急激変化を検出するようにしたため、交差点や下り階段などの特異箇所を高速で検出することが可能となる。また、エッジ検出によって検出されたエッジと、平面検出によって検出された平面とが所定の条件を満たしたときのみ、このエッジの箇所を特異箇所としたため、特異箇所の検出精度を向上させることができる。さらに、エッジ検出と平面検出を並行して処理するようにしたため、特異箇所の検出処理速度を向上することができる。
【００２６】
一方、移動制御部８は、時々刻々更新される特異箇所マップ記憶部７の内容を参照しながら、特異箇所を認識することによって移動経路の設定を行うとともに、特異箇所に接近した時点で走行速度を小さくするなどのロボットの移動制御を行う。これによって交差点に接近したときに走行速度を小さくして出会い頭の衝突を回避する等の行動が起こしやすくなり、周囲の環境構造に応じて車速等を制御することができる。
【００２７】
次に、平面検出部３が平面を検出する動作を説明する。図７は、平面検出部３３が距離画像から壁に相当する垂直平面を抽出する動作を示すフローチャートである。
平面検出部３は、１フレーム分の距離データを読み出し、予め設定されているマスクによって画像上の着目画素（ここでは、Ｐ１と称する）と他の１点の画素（ここでは、Ｐ２と称する）を選択する（ステップＳ１２）。図９（ａ）にステップＳ１において用いられるマスクの一例を示す。この図に示すように、垂直平面用マスクは５×５画素のものであり、中心の点がＰ１であり、４隅の点がＰ２となる。
【００２８】
次に、平面検出部３は、このマスクによって選択された２点Ｐ１（ｘ1，ｙ1，ｚ1）、Ｐ２（ｘ2，ｙ2，ｚ2）から式（４）、（５）によって、Ｈｏｕｇｈ空間上のパラメータθ、ρを求める（ステップＳ１２）。
θ＝−ｔａｎ-1［（ｘ1−ｘ2）／（ｙ1−ｙ2）］・・・・（４）
ρ＝ｘ1ｃｏｓθ＋ｙ2ｓｉｎθ・・・・・・・・・・・（５）
式（４）、（５）に示すように、パラメータθ、ρは、Ｚ成分を用いずにＸ成分及びＹ成分のみによって算出される。図７に示す処理は、壁等の垂直平面を抽出する処理であるため、Ｚ成分を無視することができる。特に屋内においては、垂直平面がほとんどであるため、Ｚ成分を無視しても平面抽出の処理結果に及ぼす影響は小さくすることができる。したがって、３次元座標値を有する物体表面上の測定点をＸＹ平面に投影し、その投影された点からＸＹ平面上の直線を抽出すれば３次元空間上の垂直平面を抽出することができる。ここで、式（４）、（５）によって算出されるパラメータθは、抽出しようとする直線が鉛直軸周りになす回転角度であり、パラメータρは、この直線と原点との距離を表している。
【００２９】
次に、平面検出部３は、ステップＳ１２において求めたパラメータθ、ρを３次元ヒストグラムへ投票する（ステップＳ１３）。続いて、平面検出部３は、同一のＰ１に対して、他の３つのＰ２（図９（ａ）における斜線の位置）についてステップＳ１１〜Ｓ１３の処理を行う（ステップＳ１４）。さらに、平面検出部３は、図９（ａ）に示すマスクを使用して、図１０に示すように、距離画像の左上の位置から右下の位置まで距離画像全体に対してＰ１の位置を１画素分ずつ移し、ステップＳ１１〜Ｓ１３の処理を繰り返す（ステップＳ１５）。この処理によって、３次元ヒストグラムが生成される。
【００３０】
次に、平面検出部３は、３次元ヒストグラムを参照して、度数のすべての極大値を抽出する（ステップＳ１６）。そして、抽出した極大値を持つパラメータθ、ρを求め、このθ、ρによって、ＸＹ平面上の直線を特定する。したがって、ここで特定される直線の数は、極大値の数と同数となる。
なお、極大値の抽出において、ある大きさ以上の極大値のみを抽出するようにしてもよい。
【００３１】
次に、平面検出部３は、３次元座標値を持つ測定点をＸＹ平面に投影した点が、先に特定された直線上の点となるか否かによってこの測定点が平面上の点であるか否かを判定する。そして、この判定を特定された直線毎に行うことによって、距離画像上の垂直平面を抽出し、この結果から平面抽出画像を生成する（ステップＳ１７）。この平面抽出画像は、同一の直線上に存在する測定点を、特定された直線毎に色分けするなどして生成すればよい。この処理によって、垂直平面のみが色付けされて抽出され、垂直平面でない部分は色付けがされていない状態の平面抽出画像が得られる。
【００３２】
次に、図８を参照して、平面検出部３が床等に相当する水平平面を抽出する動作を説明する。図８は、平面検出部３が水平平面を抽出する動作を示すフローチャートである。ここでいう水平平面とは、床面や道路面のことであり、現実的なスロープの角度（例えば最大で１０度）を有する床面や道路面が含まれる。
まず、距離画像記憶部２に距離画像が格納された後に平面検出部３は、１フレーム分の距離データを読み出し、予め設定されているマスクによって画像上の着目画素（ここでは、Ｐ１と称する）と他の２点の画素（ここでは、Ｐ２、Ｐ３と称する）を選択する（ステップＳ２１）。図９（ｂ）にステップＳ２１において用いられるマスクの一例を示す。この図に示すように、水平平面用マスクは９×９画素のものであり、中心の５×５画素の部分は、図９（ａ）に示す垂直平面用マスクと同等であり、さらにこのマスクは、９×９画素の４隅がＰ３となっている。
【００３３】
次に、平面検出部３は、このマスクによって選択された３点Ｐ１（ｘ1，ｙ1，ｚ1）、Ｐ２（ｘ2，ｙ2，ｚ2）、Ｐ３（ｘ3，ｙ3，ｚ3）から式（６）、（７）によって、単位外積ベクトルｎを求める（ステップＳ２２）。以下の式の説明において、ベクトルの表現を「ベクトルｎ」という表現を用いる。
【００３４】
単位外積ベクトルｎは、式（６）によって、まず外積ベクトルｎtmpを求め、さらにこれを式（７）によって正規化することによって求められる。
外積ベクトルｎtmp＝（（ｙ2−ｙ1）（ｚ3−ｚ1）−（ｚ2−ｚ1）（ｙ3−ｙ1），
（ｚ2−ｚ1）（ｘ3−ｘ1）−（ｘ2−ｘ1）（ｚ3−ｚ1），
（ｙ2−ｙ1）（ｚ3−ｚ1）−（ｚ2−ｚ1）（ｙ3−ｙ1））・・・（６）
単位外積ベクトルｎ＝ベクトルｎtmp／｜ベクトルｎtmp｜・・・・・・・・・・・・（７）
式（７）によって正規化された大きさ１の単位外積ベクトルｎは、
単位外積ベクトルｎ＝（ｎx，ｎy，ｎz）となり、このベクトルが先に選択した３点で張る面の垂直ベクトルとなる。
【００３５】
次に、平面検出部３は、求めた単位外積ベクトルｎから式（８）、（９）、（１０）、（１１）によって、パラメータρ、θx、θy、θzを求める（ステップＳ２３）。
ρ＝ｎxｘ1＋ｎyｙ1＋ｎzｚ1・・・・・・（８）
θx＝ｃｏｓ-1ｎx・・・・・・・・・・・（９）
θy＝ｃｏｓ-1ｎy・・・・・・・・・・・（１０）
θz＝ｃｏｓ-1ｎz・・・・・・・・・・・（１１）
ここで、パラメータρは、抽出しようとする平面に原点からの距離を表し、パラメータθx、θy、θzは、それぞれ垂直ベクトルの各成分に対する方向余弦に対する角度を表している。
【００３６】
次に、平面検出部３は、垂直ベクトルのＺ成分の方向余弦に対する角度 θzが、｜θz｜≦Ｔｈを満たすか否かを判定する（ステップＳ２４）。ここで、Ｔｈはしきい値であり、床面や道路面のスロープの最大角度である。通常、屋内における床面はスロープを考慮しても最大で１０度程度であるので、このＴｈは１０度を設定することが望ましい。
【００３７】
次に、平面検出部３は、ステップＳ２４において、｜θz｜≦Ｔｈを満たしていれば、ステップＳ２３において求めたパラメータρ、θx、θy、θzを４次元ヒストグラムへ投票する（ステップＳ２５）。一方、｜θz｜≦Ｔｈを満たしていなければ、ステップＳ２６へ進む。
【００３８】
続いて、平面検出部３は、同一のＰ１に対して、他の３つのＰ２及び他の３つのＰ３（図９（ｂ）における斜線の位置）についてステップＳ２１〜Ｓ２５の処理を行う（ステップＳ２６）。さらに、平面検出部３は、図９（ｂ）に示すマスクを使用して、図１０に示すように、距離画像の左上の位置から右下の位置まで距離画像全体に対してＰ１の位置を１画素分ずつ移し、ステップＳ２１〜Ｓ２５の処理を繰り返す（ステップＳ２７）。この処理によって、４次元ヒストグラムが生成される。
ただし、投票されるのは、｜θz｜≦Ｔｈが満たされたときのみである。
【００３９】
次に、平面検出部３は、４次元ヒストグラムを参照して、度数のすべての極大値を抽出する（ステップＳ２８）。そして、抽出した極大値を持つパラメータρ、θx、θy、θzを求め、このρ、θx、θy、θzによって、３次元空間上の平面を特定する。したがって、ここで特定される平面の数は、極大値の数と同数となる。
なお、極大値の抽出において、ある大きさ以上の極大値のみを抽出するようにしてもよい。
【００４０】
次に、平面検出部３は、特定された水平平面から平面抽出画像を生成する（ステップＳ２９）。この平面抽出画像は、特定された平面上に存在する測定点を、特定された平面毎に色分けするなどして生成すればよい。この処理によって、水平平面のみが色付けされて抽出され、水平平面でない部分は色付けがされていない状態の平面抽出画像が得られる。
【００４１】
なお、図７に示す垂直平面抽出処理と図８に示す水平平面抽出処理は、同時に動作し、その結果を合成して、垂直平面と水平平面とが色分けされた平面抽出画像を生成するようにしてもよい。また、距離画像取得部１は、平面検出部３および平面検出部３が、距離画像記憶部２に記憶されている距離データの読み出しが終了した時点で、新たな距離画像を取得し、距離画像記憶部２を更新するようにする。そして、前述した処理を繰り返すことによって、平面検出画像を更新する。図１１に平面検出画像の一例を示す。
【００４２】
このように、垂直平面の検出の際にＺ成分を用いずにＸ、Ｙ成分のみによって演算を行い、３次元のヒストグラムを使用してＸＹ平面の直線を特定することによって壁に相当する垂直平面を抽出するようにしたため、使用するメモリ量を削減することができ、さらに処理時間も短縮することができる。また、床面や道路面に相当する水平平面の検出の際に、検出しようとする平面の候補に対して、垂直ベクトルの角度が所定の範囲内である候補のみを使用して４次元ヒストグラムの投票を行うようにしたため、使用するメモリ量を削減することができ、さらに処理時間も短縮することができる。また、垂直平面と水平平面の検出処理を分けて、並行して同時に動作するようにしたため、さらに処理効率を向上させることが可能となる。さらに平面検出画像と距離画像を参照しながらロボットの移動を制御するようにしたため、精度よくロボットの位置の制御を行うことができるとともに、処理時間を短縮することが可能となるためにロボット内における経路選定処理の負荷を低減することが可能となる。また、マスクを用いて投票範囲を制限したので、処理時間を短縮できるととに平面の検出精度が向上する。
【００４３】
なお、図２、７、８における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより特箇所検出処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フロッピーディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００４４】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００４５】
【発明の効果】
以上説明したように、請求項１、４、５に記載の発明によれば、距離画像に対してエッジ検出処理を施し、距離の急激変化を検出するようにしたため、交差点や下り階段などの特異箇所を高速で検出することが可能となる。また、エッジ検出によって検出されたエッジと、平面検出によって検出された平面とが所定の条件を満たしたときのみ、このエッジの箇所を特異箇所としたため、特異箇所の検出精度を向上させることができる。さらに、エッジ検出と平面検出を並行して処理するようにしたため、特異箇所の検出処理速度を向上することができるという効果が得られる。
【００４６】
また、請求項２に記載の発明によれば、特異箇所マップを参照しながら自動車の移動を制御するようにしたため、精度よく自動車の位置の制御を行うことができるとともに、特異箇所への接近に伴い必要な行動を起こす制御をすることが可能になるという効果が得られる。
【００４７】
また、請求項３に記載の発明によれば、特異箇所マップを参照しながらロボットの移動を制御するようにしたため、精度よくロボットの位置の制御を行うことができるとともに、特異箇所への接近に伴い必要な行動を起こす制御をすることが可能になるという効果が得られる。
【図面の簡単な説明】
【図１】 本発明の一実施形態の構成を示すブロック図である。
【図２】 図１に示す画像処理装置の動作を示すフローチャートである。
【図３】 ロボットの前方視野の情景の一例を示す説明図である。
【図４】 図１に示す平面検出部３によって生成された平面検出画像の一例を示す説明図である。
【図５】 図１に示すエッジ検出部４によって生成されたエッジ検出画像の一例を示す説明図である。
【図６】 図１に示す特異箇所マップ記憶部７に記憶される特異箇所マップの一例を示す説明図である。
【図７】 図１に示す平面検出部３の動作を示すフローチャートである。
【図８】 図１に示す平面検出部３の動作を示すフローチャートである。
【図９】 図１に示す平面検出部３において用いられるマスクの一例を示す説明図である。
【図１０】 図１に示す平面検出部３の処理において、距離画像の走査方向の一例を示す説明図である。
【図１１】 図１に示す平面検出部３によって生成された平面検出画像の一例を示す説明図である。
【符号の説明】
１・・・距離画像取得部、
２・・・距離画像記憶部、
３・・・平面検出部、
４・・・エッジ検出部、
５・・・特異箇所判定部、
６・・・距離画像変換部、
７・・・特異箇所マップ記憶部、
８・・・移動制御部。
Claims (5)
- 距離センサの前方視野内の物体表面の各点の距離を測定して得られた物体表面の各点の３次元座標値に応じた距離情報を示す距離画像を得る距離画像取得手段と、
前記距離画像から得られる前記物体表面の３次元座標値から平面を検出する平面検出手段と、
前記距離画像によって示される前記物体表面との距離の変化量が、所定の値より大きな箇所を示す線分を示すエッジ情報を検出するエッジ検出手段と、
前記エッジ情報によって示される線分が、前記平面検出手段によって検出された平面に含まれるか否かを判定する特異箇所判定手段と、
前記特異箇所判定手段の結果に基づいて特異箇所を記憶する特異箇所マップ記憶手段と、
を備えたことを特徴とする画像処理装置。 - 請求項１に記載の画像処理装置を備えた車両走行制御装置であって、
前記車両走行制御装置は、
車両の走行の際に前記特異箇所マップを参照して、走行の制御を行う移動制御手段を備えたことを特徴とする車両走行制御装置。 - 請求項１に記載の画像処理装置を備えた自律走行ロボットであって、
前記自律走行ロボットは、
ロボットの移動の際に前記特異箇所マップを参照して、走行の制御を行う移動制御手段を備えたことを特徴とする自律走行ロボット。 - 距離センサの前方視野内の物体表面の各点の距離を測定して得られた物体表面の各点の３次元座標値に応じた距離情報を示す距離画像を得る距離画像取得処理と、
前記距離画像から得られる前記物体表面の３次元座標値から平面を検出する平面検出処理と、
前記距離画像によって示される前記物体表面との距離の変化量が、所定の値より大きな箇所を示す線分を示すエッジ情報を検出するエッジ検出処理と、
前記エッジ情報によって示される線分が、前記平面検出手段によって検出された平面に含まれるか否かを判定する特異箇所判定処理と、
を有することを特徴とする特異箇所検出方法。 - 前方視野内の特異箇所を検出する特異箇所検出プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記特異箇所検出プログラムは、
距離センサの前方視野内の物体表面の各点の距離を測定して得られた物体表面の各点の３次元座標値に応じた距離情報を示す距離画像を得る距離画像取得処理と、
前記距離画像から得られる前記物体表面の３次元座標値から平面を検出する平面検出処理と、
前記距離画像によって示される前記物体表面との距離の変化量が、所定の値より大きな箇所を示す線分を示すエッジ情報を検出するエッジ検出処理と、
前記エッジ情報によって示される線分が、前記平面検出手段によって検出された平面に含まれるか否かを判定する特異箇所判定処理と、
をコンピュータに行わせることを特徴とする特異箇所検出プログラムを記録した記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000080935A JP4409035B2 (ja) | 2000-03-22 | 2000-03-22 | 画像処理装置、特異箇所検出方法、及び特異箇所検出プログラムを記録した記録媒体 |
| US09/813,954 US6826293B2 (en) | 2000-03-22 | 2001-03-22 | Image processing device, singular spot detection method, and recording medium upon which singular spot detection program is recorded |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000080935A JP4409035B2 (ja) | 2000-03-22 | 2000-03-22 | 画像処理装置、特異箇所検出方法、及び特異箇所検出プログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001266123A JP2001266123A (ja) | 2001-09-28 |
| JP4409035B2 true JP4409035B2 (ja) | 2010-02-03 |
Family
ID=18597956
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000080935A Expired - Lifetime JP4409035B2 (ja) | 2000-03-22 | 2000-03-22 | 画像処理装置、特異箇所検出方法、及び特異箇所検出プログラムを記録した記録媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6826293B2 (ja) |
| JP (1) | JP4409035B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017131334A1 (ko) * | 2016-01-25 | 2017-08-03 | 충북대학교 산학협력단 | 이동 로봇의 위치 인식 및 지도 작성 시스템 및 방법 |
Families Citing this family (110)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7392287B2 (en) | 2001-03-27 | 2008-06-24 | Hemisphere Ii Investment Lp | Method and apparatus for sharing information using a handheld device |
| JP3945279B2 (ja) * | 2002-03-15 | 2007-07-18 | ソニー株式会社 | 障害物認識装置、障害物認識方法、及び障害物認識プログラム並びに移動型ロボット装置 |
| FR2839176A1 (fr) * | 2002-04-30 | 2003-10-31 | Koninkl Philips Electronics Nv | Systeme d'animation pour robot comprenant un ensemble de pieces mobiles |
| JP2004170355A (ja) * | 2002-11-22 | 2004-06-17 | Topcon Corp | 反射体自動追尾装置 |
| GB0318733D0 (en) * | 2003-08-11 | 2003-09-10 | Icerobotics Ltd | Improvements in or relating to milking machines |
| JP3994950B2 (ja) | 2003-09-19 | 2007-10-24 | ソニー株式会社 | 環境認識装置及び方法、経路計画装置及び方法、並びにロボット装置 |
| KR20050047745A (ko) * | 2003-11-18 | 2005-05-23 | 삼성전자주식회사 | 에지 검출장치 및 그 검출방법 |
| JP3937414B2 (ja) * | 2004-08-11 | 2007-06-27 | 本田技研工業株式会社 | 平面検出装置及び検出方法 |
| US7991778B2 (en) * | 2005-08-23 | 2011-08-02 | Ricoh Co., Ltd. | Triggering actions with captured input in a mixed media environment |
| US8369655B2 (en) | 2006-07-31 | 2013-02-05 | Ricoh Co., Ltd. | Mixed media reality recognition using multiple specialized indexes |
| US8989431B1 (en) | 2007-07-11 | 2015-03-24 | Ricoh Co., Ltd. | Ad hoc paper-based networking with mixed media reality |
| US8086038B2 (en) * | 2007-07-11 | 2011-12-27 | Ricoh Co., Ltd. | Invisible junction features for patch recognition |
| US8176054B2 (en) * | 2007-07-12 | 2012-05-08 | Ricoh Co. Ltd | Retrieving electronic documents by converting them to synthetic text |
| US8195659B2 (en) * | 2005-08-23 | 2012-06-05 | Ricoh Co. Ltd. | Integration and use of mixed media documents |
| US8156427B2 (en) * | 2005-08-23 | 2012-04-10 | Ricoh Co. Ltd. | User interface for mixed media reality |
| US8276088B2 (en) | 2007-07-11 | 2012-09-25 | Ricoh Co., Ltd. | User interface for three-dimensional navigation |
| US8600989B2 (en) * | 2004-10-01 | 2013-12-03 | Ricoh Co., Ltd. | Method and system for image matching in a mixed media environment |
| US8332401B2 (en) * | 2004-10-01 | 2012-12-11 | Ricoh Co., Ltd | Method and system for position-based image matching in a mixed media environment |
| US8521737B2 (en) * | 2004-10-01 | 2013-08-27 | Ricoh Co., Ltd. | Method and system for multi-tier image matching in a mixed media environment |
| US8385589B2 (en) | 2008-05-15 | 2013-02-26 | Berna Erol | Web-based content detection in images, extraction and recognition |
| US9171202B2 (en) * | 2005-08-23 | 2015-10-27 | Ricoh Co., Ltd. | Data organization and access for mixed media document system |
| US8825682B2 (en) * | 2006-07-31 | 2014-09-02 | Ricoh Co., Ltd. | Architecture for mixed media reality retrieval of locations and registration of images |
| US8949287B2 (en) * | 2005-08-23 | 2015-02-03 | Ricoh Co., Ltd. | Embedding hot spots in imaged documents |
| US7702673B2 (en) * | 2004-10-01 | 2010-04-20 | Ricoh Co., Ltd. | System and methods for creation and use of a mixed media environment |
| US7639387B2 (en) * | 2005-08-23 | 2009-12-29 | Ricoh Co., Ltd. | Authoring tools using a mixed media environment |
| US7587412B2 (en) * | 2005-08-23 | 2009-09-08 | Ricoh Company, Ltd. | Mixed media reality brokerage network and methods of use |
| US7917554B2 (en) * | 2005-08-23 | 2011-03-29 | Ricoh Co. Ltd. | Visibly-perceptible hot spots in documents |
| US8510283B2 (en) * | 2006-07-31 | 2013-08-13 | Ricoh Co., Ltd. | Automatic adaption of an image recognition system to image capture devices |
| US8335789B2 (en) * | 2004-10-01 | 2012-12-18 | Ricoh Co., Ltd. | Method and system for document fingerprint matching in a mixed media environment |
| US7669148B2 (en) * | 2005-08-23 | 2010-02-23 | Ricoh Co., Ltd. | System and methods for portable device for mixed media system |
| US7885955B2 (en) * | 2005-08-23 | 2011-02-08 | Ricoh Co. Ltd. | Shared document annotation |
| US7672543B2 (en) * | 2005-08-23 | 2010-03-02 | Ricoh Co., Ltd. | Triggering applications based on a captured text in a mixed media environment |
| US8005831B2 (en) * | 2005-08-23 | 2011-08-23 | Ricoh Co., Ltd. | System and methods for creation and use of a mixed media environment with geographic location information |
| US9405751B2 (en) * | 2005-08-23 | 2016-08-02 | Ricoh Co., Ltd. | Database for mixed media document system |
| US8144921B2 (en) | 2007-07-11 | 2012-03-27 | Ricoh Co., Ltd. | Information retrieval using invisible junctions and geometric constraints |
| US8868555B2 (en) * | 2006-07-31 | 2014-10-21 | Ricoh Co., Ltd. | Computation of a recongnizability score (quality predictor) for image retrieval |
| US9384619B2 (en) * | 2006-07-31 | 2016-07-05 | Ricoh Co., Ltd. | Searching media content for objects specified using identifiers |
| US8184155B2 (en) | 2007-07-11 | 2012-05-22 | Ricoh Co. Ltd. | Recognition and tracking using invisible junctions |
| US9530050B1 (en) | 2007-07-11 | 2016-12-27 | Ricoh Co., Ltd. | Document annotation sharing |
| US8856108B2 (en) | 2006-07-31 | 2014-10-07 | Ricoh Co., Ltd. | Combining results of image retrieval processes |
| US9373029B2 (en) | 2007-07-11 | 2016-06-21 | Ricoh Co., Ltd. | Invisible junction feature recognition for document security or annotation |
| US7812986B2 (en) * | 2005-08-23 | 2010-10-12 | Ricoh Co. Ltd. | System and methods for use of voice mail and email in a mixed media environment |
| US8838591B2 (en) * | 2005-08-23 | 2014-09-16 | Ricoh Co., Ltd. | Embedding hot spots in electronic documents |
| US8156116B2 (en) * | 2006-07-31 | 2012-04-10 | Ricoh Co., Ltd | Dynamic presentation of targeted information in a mixed media reality recognition system |
| US7920759B2 (en) * | 2005-08-23 | 2011-04-05 | Ricoh Co. Ltd. | Triggering applications for distributed action execution and use of mixed media recognition as a control input |
| US7970171B2 (en) | 2007-01-18 | 2011-06-28 | Ricoh Co., Ltd. | Synthetic image and video generation from ground truth data |
| KR100619758B1 (ko) * | 2004-11-10 | 2006-09-07 | 엘지전자 주식회사 | 로봇청소기의 움직임 추적장치 및 방법 |
| US7769772B2 (en) * | 2005-08-23 | 2010-08-03 | Ricoh Co., Ltd. | Mixed media reality brokerage network with layout-independent recognition |
| JP2007094743A (ja) * | 2005-09-28 | 2007-04-12 | Zmp:Kk | 自律移動型ロボットとそのシステム |
| WO2007044891A2 (en) * | 2005-10-11 | 2007-04-19 | Vanderbilt University | System and method for image mapping and visual attention |
| US20070126876A1 (en) * | 2005-11-30 | 2007-06-07 | Eastman Kodak Company | Locating digital image planar surfaces |
| JP4193886B2 (ja) * | 2006-07-26 | 2008-12-10 | トヨタ自動車株式会社 | 画像表示装置 |
| US9176984B2 (en) | 2006-07-31 | 2015-11-03 | Ricoh Co., Ltd | Mixed media reality retrieval of differentially-weighted links |
| US8201076B2 (en) | 2006-07-31 | 2012-06-12 | Ricoh Co., Ltd. | Capturing symbolic information from documents upon printing |
| US8489987B2 (en) | 2006-07-31 | 2013-07-16 | Ricoh Co., Ltd. | Monitoring and analyzing creation and usage of visual content using image and hotspot interaction |
| US9063952B2 (en) * | 2006-07-31 | 2015-06-23 | Ricoh Co., Ltd. | Mixed media reality recognition with image tracking |
| US9020966B2 (en) * | 2006-07-31 | 2015-04-28 | Ricoh Co., Ltd. | Client device for interacting with a mixed media reality recognition system |
| US8676810B2 (en) | 2006-07-31 | 2014-03-18 | Ricoh Co., Ltd. | Multiple index mixed media reality recognition using unequal priority indexes |
| US8073263B2 (en) | 2006-07-31 | 2011-12-06 | Ricoh Co., Ltd. | Multi-classifier selection and monitoring for MMR-based image recognition |
| JP2008085503A (ja) * | 2006-09-26 | 2008-04-10 | Toshiba Corp | 三次元画像処理装置、方法、プログラム及び三次元画像表示装置 |
| JP4645601B2 (ja) * | 2007-02-13 | 2011-03-09 | トヨタ自動車株式会社 | 環境地図の生成方法及び移動ロボット |
| US7847380B2 (en) * | 2007-09-20 | 2010-12-07 | Samsung Electronics Co., Ltd. | Tape substrate and semiconductor module for smart card, method of fabricating the same, and smart card |
| JP4838275B2 (ja) * | 2008-03-03 | 2011-12-14 | 日本電信電話株式会社 | 距離情報符号化方法，復号方法，符号化装置，復号装置，符号化プログラム，復号プログラムおよびコンピュータ読み取り可能な記録媒体 |
| JP5107154B2 (ja) * | 2008-06-23 | 2012-12-26 | アイドゲノッシッシェ テヒニッシェ ホッホシューレ チューリッヒ | 運動推定装置 |
| US8705792B2 (en) * | 2008-08-06 | 2014-04-22 | Toyota Motor Engineering & Manufacturing North America, Inc. | Object tracking using linear features |
| JP4717105B2 (ja) * | 2008-08-29 | 2011-07-06 | 株式会社日立製作所 | 自律移動ロボット装置及びかかる装置における飛び出し衝突回避方法 |
| KR101591471B1 (ko) * | 2008-11-03 | 2016-02-04 | 삼성전자주식회사 | 물체의 특징 정보를 추출하기 위한 장치와 방법, 및 이를 이용한 특징 지도 생성 장치와 방법 |
| JP5141644B2 (ja) * | 2009-06-23 | 2013-02-13 | トヨタ自動車株式会社 | 自律移動体、自己位置推定装置、およびプログラム |
| US8385660B2 (en) * | 2009-06-24 | 2013-02-26 | Ricoh Co., Ltd. | Mixed media reality indexing and retrieval for repeated content |
| KR101619076B1 (ko) * | 2009-08-25 | 2016-05-10 | 삼성전자 주식회사 | 모바일 플랫폼의 동적 물체 검출 및 추적 방법 |
| US9161511B2 (en) | 2010-07-06 | 2015-10-20 | Technologies Holdings Corp. | Automated rotary milking system |
| US8720382B2 (en) | 2010-08-31 | 2014-05-13 | Technologies Holdings Corp. | Vision system for facilitating the automated application of disinfectant to the teats of dairy livestock |
| US8800487B2 (en) | 2010-08-31 | 2014-08-12 | Technologies Holdings Corp. | System and method for controlling the position of a robot carriage based on the position of a milking stall of an adjacent rotary milking platform |
| US9149018B2 (en) | 2010-08-31 | 2015-10-06 | Technologies Holdings Corp. | System and method for determining whether to operate a robot in conjunction with a rotary milking platform based on detection of a milking claw |
| US10111401B2 (en) | 2010-08-31 | 2018-10-30 | Technologies Holdings Corp. | System and method for determining whether to operate a robot in conjunction with a rotary parlor |
| JP5544513B2 (ja) * | 2011-02-25 | 2014-07-09 | 本田技研工業株式会社 | 段差エッジ推定装置 |
| US9043988B2 (en) | 2011-04-28 | 2015-06-02 | Technologies Holdings Corp. | Milking box with storage area for teat cups |
| US9265227B2 (en) | 2011-04-28 | 2016-02-23 | Technologies Holdings Corp. | System and method for improved attachment of a cup to a dairy animal |
| US10357015B2 (en) | 2011-04-28 | 2019-07-23 | Technologies Holdings Corp. | Robotic arm with double grabber and method of operation |
| US9161512B2 (en) | 2011-04-28 | 2015-10-20 | Technologies Holdings Corp. | Milking box with robotic attacher comprising an arm that pivots, rotates, and grips |
| US8885891B2 (en) | 2011-04-28 | 2014-11-11 | Technologies Holdings Corp. | System and method for analyzing data captured by a three-dimensional camera |
| US8903129B2 (en) | 2011-04-28 | 2014-12-02 | Technologies Holdings Corp. | System and method for filtering data captured by a 2D camera |
| US8683946B2 (en) | 2011-04-28 | 2014-04-01 | Technologies Holdings Corp. | System and method of attaching cups to a dairy animal |
| US9058657B2 (en) | 2011-04-28 | 2015-06-16 | Technologies Holdings Corp. | System and method for filtering data captured by a 3D camera |
| US9107378B2 (en) | 2011-04-28 | 2015-08-18 | Technologies Holdings Corp. | Milking box with robotic attacher |
| US8671885B2 (en) | 2011-04-28 | 2014-03-18 | Technologies Holdings Corp. | Vision system for robotic attacher |
| US9681634B2 (en) | 2011-04-28 | 2017-06-20 | Technologies Holdings Corp. | System and method to determine a teat position using edge detection in rear images of a livestock from two cameras |
| US9107379B2 (en) | 2011-04-28 | 2015-08-18 | Technologies Holdings Corp. | Arrangement of milking box stalls |
| US9049843B2 (en) | 2011-04-28 | 2015-06-09 | Technologies Holdings Corp. | Milking box with a robotic attacher having a three-dimensional range of motion |
| US9215861B2 (en) | 2011-04-28 | 2015-12-22 | Technologies Holdings Corp. | Milking box with robotic attacher and backplane for tracking movements of a dairy animal |
| US10127446B2 (en) | 2011-04-28 | 2018-11-13 | Technologies Holdings Corp. | System and method for filtering data captured by a 2D camera |
| US8746176B2 (en) | 2011-04-28 | 2014-06-10 | Technologies Holdings Corp. | System and method of attaching a cup to a dairy animal according to a sequence |
| US9258975B2 (en) | 2011-04-28 | 2016-02-16 | Technologies Holdings Corp. | Milking box with robotic attacher and vision system |
| US9357744B2 (en) | 2011-04-28 | 2016-06-07 | Technologies Holdings Corp. | Cleaning system for a milking box stall |
| US8799201B2 (en) | 2011-07-25 | 2014-08-05 | Toyota Motor Engineering & Manufacturing North America, Inc. | Method and system for tracking objects |
| US9058331B2 (en) | 2011-07-27 | 2015-06-16 | Ricoh Co., Ltd. | Generating a conversation in a social network based on visual search results |
| JP5623362B2 (ja) * | 2011-09-28 | 2014-11-12 | 本田技研工業株式会社 | 段差部認識装置 |
| JP5799273B2 (ja) | 2013-10-02 | 2015-10-21 | パナソニックＩｐマネジメント株式会社 | 寸法計測装置、寸法計測方法、寸法計測システム、プログラム |
| JP6072934B2 (ja) * | 2013-11-15 | 2017-02-01 | 株式会社日立製作所 | 移動ロボットシステム |
| CN108247631B (zh) * | 2017-12-06 | 2020-04-07 | 西北工业大学 | 一种提高路径跟踪性能的机械臂自主鲁棒避奇异方法 |
| US10653102B2 (en) * | 2018-01-31 | 2020-05-19 | Technologies Holdings Corp. | Robotic arm |
| JP7030007B2 (ja) * | 2018-04-13 | 2022-03-04 | 東芝ライフスタイル株式会社 | 自律型電気掃除機 |
| JP7180218B2 (ja) * | 2018-09-07 | 2022-11-30 | 株式会社豊田自動織機 | 自律走行台車 |
| CN110793472B (zh) * | 2019-11-11 | 2021-07-27 | 桂林理工大学 | 一种基于四元数奇异值熵指标的磨削表面粗糙度检测方法 |
| KR102324099B1 (ko) * | 2019-12-26 | 2021-11-10 | 주식회사 트위니 | 실내 이동체의 경로 계획 방법, 이를 구현하기 위한 프로그램이 저장된 기록매체 및 이를 구현하기 위해 매체에 저장된 컴퓨터프로그램 |
| JP7461770B2 (ja) * | 2020-03-25 | 2024-04-04 | 古河電気工業株式会社 | 監視装置および監視装置の動作方法 |
| CN112818797B (zh) * | 2021-01-26 | 2024-03-01 | 厦门大学 | 一种面向在线考试答卷文档图像的一致性检测方法和存储设备 |
| CN113377106B (zh) * | 2021-06-09 | 2022-03-15 | 安徽信息工程学院 | 基于平板电脑的室内图像测绘系统、方法 |
| CN115187594B (zh) * | 2022-09-08 | 2023-09-08 | 济南博图信息技术有限公司 | 大脑皮质模型重建方法及系统 |
| CN115338875A (zh) * | 2022-10-19 | 2022-11-15 | 宜宾职业技术学院 | 一种基于图像识别的茶叶智能采摘系统及方法 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06176107A (ja) | 1992-12-04 | 1994-06-24 | Canon Inc | 距離画像処理方法及び装置 |
| US5434927A (en) * | 1993-12-08 | 1995-07-18 | Minnesota Mining And Manufacturing Company | Method and apparatus for machine vision classification and tracking |
| US6160900A (en) * | 1994-02-04 | 2000-12-12 | Canon Kabushiki Kaisha | Method and apparatus for reducing the processing time required in motion vector detection |
| JP2919284B2 (ja) * | 1994-02-23 | 1999-07-12 | 松下電工株式会社 | 物体認識方法 |
| JPH07271978A (ja) | 1994-03-29 | 1995-10-20 | Toshiba Corp | 画像処理装置 |
| JP2989744B2 (ja) * | 1994-06-13 | 1999-12-13 | 株式会社東芝 | 測定面抽出装置及びその方法 |
| JP3193240B2 (ja) * | 1994-09-08 | 2001-07-30 | 株式会社東芝 | 画像処理装置 |
| US5615003A (en) * | 1994-11-29 | 1997-03-25 | Hermary; Alexander T. | Electromagnetic profile scanner |
| JPH0981309A (ja) * | 1995-09-13 | 1997-03-28 | Toshiba Corp | 入力装置 |
| DE69836473T2 (de) * | 1997-09-23 | 2007-09-20 | Koninklijke Philips Electronics N.V. | Bewegungsschätzung und bewegungskompensierte interpolation |
-
2000
- 2000-03-22 JP JP2000080935A patent/JP4409035B2/ja not_active Expired - Lifetime
-
2001
- 2001-03-22 US US09/813,954 patent/US6826293B2/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017131334A1 (ko) * | 2016-01-25 | 2017-08-03 | 충북대학교 산학협력단 | 이동 로봇의 위치 인식 및 지도 작성 시스템 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| US6826293B2 (en) | 2004-11-30 |
| US20010024514A1 (en) | 2001-09-27 |
| JP2001266123A (ja) | 2001-09-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4409035B2 (ja) | 画像処理装置、特異箇所検出方法、及び特異箇所検出プログラムを記録した記録媒体 | |
| KR101725060B1 (ko) | 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
| US8564657B2 (en) | Object motion detection system based on combining 3D warping techniques and a proper object motion detection | |
| Wijesoma et al. | Road-boundary detection and tracking using ladar sensing | |
| US11669972B2 (en) | Geometry-aware instance segmentation in stereo image capture processes | |
| CA2950791C (en) | Binocular visual navigation system and method based on power robot | |
| US8233660B2 (en) | System and method for object motion detection based on multiple 3D warping and vehicle equipped with such system | |
| KR101776621B1 (ko) | 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
| KR101784183B1 (ko) | ADoG 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
| US20190005667A1 (en) | Ground Surface Estimation | |
| JP4429461B2 (ja) | 画像処理装置、平面検出方法、及び平面検出プログラムを記録した記録媒体 | |
| JP5023186B2 (ja) | ３ｄワーピング手法と固有対象物運動（ｐｏｍ）の検出の組み合わせに基づく対象物の動き検出システム | |
| JP2002352225A (ja) | 障害物検出装置及びその方法 | |
| CN112097732A (zh) | 一种基于双目相机的三维测距方法、系统、设备及可读存储介质 | |
| WO2020237942A1 (zh) | 一种行人3d位置的检测方法及装置、车载终端 | |
| CN112700486B (zh) | 对图像中路面车道线的深度进行估计的方法及装置 | |
| US20200192341A1 (en) | Collaborative Determination Of A Load Footprint Of A Robotic Vehicle | |
| CN114792416A (zh) | 一种目标检测方法及装置 | |
| CN113112491A (zh) | 一种悬崖检测方法、装置、机器人及存储介质 | |
| WO2024036984A1 (zh) | 目标定位方法及相关系统、存储介质 | |
| JPH07271978A (ja) | 画像処理装置 | |
| CN114353779B (zh) | 一种采用点云投影快速更新机器人局部代价地图的方法 | |
| JP7427569B2 (ja) | 状態判定装置、状態判定システム及び状態判定方法 | |
| JP2001101420A (ja) | 障害物検出装置及びその方法 | |
| Zheng et al. | Vision-based autonomous navigation in indoor environments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061201 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090804 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091005 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091104 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091111 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4409035 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121120 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131120 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |