JP2010161686A

JP2010161686A - Imaging method, picking method and picking apparatus

Info

Publication number: JP2010161686A
Application number: JP2009003246A
Authority: JP
Inventors: Hiroto Hirabayashi; 裕人平林
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2009-01-09
Filing date: 2009-01-09
Publication date: 2010-07-22

Abstract

PROBLEM TO BE SOLVED: To provide a method of generating an image with less blurring even when capturing an image while changing relative positions of a workpiece and an imaging apparatus. SOLUTION: An imaging method is provided for imaging the workpiece using the imaging apparatus. The imaging method includes: an imaging apparatus moving step of moving the imaging apparatus 20 using a robot 3; an imaging step performed in parallel with the imaging apparatus moving step of imaging a component 5; a locus calculating step of arithmetically operating a moving locus along with the imaging apparatus 20 and the component 5 are moved relatively; and a correcting step of correcting the captured image using information on the moving locus. In the imaging apparatus moving step, an attitude of the robot 3 is detected and in the locus calculating step, the moving locus of the imaging apparatus 20 with respect to the component 5 is calculated using attitude information in the robot 3. COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、撮像方法、ピッキング方法及びピッキング装置にかかわり、特に、撮像した画像を補正する方法に関するものである。 The present invention relates to an imaging method, a picking method, and a picking apparatus, and more particularly to a method for correcting a captured image.

ワークを把持するときや加工するときに、視覚センサ等を用いてワークの位置を認識することがある。その後、ワークを把持または加工する。このとき、ワークと視覚センサとを停止して撮像して静止画像を生成する。次に、静止画像を分析することによりワークの位置や姿勢を精度良く検出する方法が一般的に行われている。生産性良く撮像する方法が特許文献１に開示されている。それによると、ワークに対して視覚センサ（以後、撮像装置と称す）を移動して接近させる。そして、撮像装置を停止せずにワークを撮影して、画像を生成する。次に、撮像装置の角度と画像とを分析することによりワークの位置を検出していた。 When gripping or processing a workpiece, the position of the workpiece may be recognized using a visual sensor or the like. Thereafter, the workpiece is gripped or processed. At this time, the work and the visual sensor are stopped and imaged to generate a still image. Next, a method of detecting the position and posture of a workpiece with high accuracy by analyzing a still image is generally performed. A method for imaging with high productivity is disclosed in Patent Document 1. According to this, a visual sensor (hereinafter referred to as an image pickup device) is moved to approach the workpiece. Then, the work is photographed without stopping the imaging device to generate an image. Next, the position of the workpiece is detected by analyzing the angle and image of the imaging device.

撮像装置がワークを撮像するときに、撮像する間にワークが移動するとワークの画像の輪郭が曖昧になるブレが形成される。そして、ブレを補正して輪郭を明確にする方法が特許文献２に開示されている。それによると、撮影した画像からブレの方向や大きさを示す点広がり関数（ＰｏｉｎｔＳｐｒｅａｄＦｕｎｃｔｉｏｎ、ＰＳＦともいわれ、以後、点像分布関数と称す）を算出した後、点像分布関数を用いて画像復元フィルタを生成する。そして、画像復元フィルタを撮像した画像に適用することにより画像のブレを補正していた。 When the imaging device images a workpiece, if the workpiece moves during imaging, a blur is formed that makes the contour of the workpiece image unclear. A method of correcting the blur and clarifying the contour is disclosed in Patent Document 2. According to this, after calculating a point spread function (also referred to as Point Spread Function, PSF, hereinafter referred to as a point spread function) indicating the direction and size of blur from a photographed image, an image restoration filter is used using the point spread function. Is generated. Then, image blurring is corrected by applying the image restoration filter to the captured image.

撮影した画像からブレを小さくするには、点像分布関数を精度良く検出することが有効であることが知られている。そして、点像分布関数を精度良く検出する方法が特許文献３に開示されている。それによると、撮像装置に角速度センサを配置して、撮像装置が移動するときの角速度を検出している。そして、撮像装置における角速度の推移を用いて点像分布関数を検出していた。 It is known that it is effective to detect a point spread function with high accuracy in order to reduce blur from a photographed image. A method for accurately detecting a point spread function is disclosed in Patent Document 3. According to this, an angular velocity sensor is arranged in the imaging device, and the angular velocity when the imaging device moves is detected. Then, the point spread function is detected using the transition of the angular velocity in the imaging apparatus.

特開平６−９９３８１号公報Japanese Patent Laid-Open No. 6-99381 特開２００７−１８３８４２号公報JP 2007-183842 A 特開２００８−１１４２４号公報JP 2008-11424 A

ワークと撮像装置との相対位置を変化させながら撮像するとき、撮像した画像にブレが生ずる。このとき、ワークの形状、姿勢、位置等の情報を正確に検出することが難しかった。そこで、ワークと撮像装置との相対位置を変化させながら撮像するときにも、ブレの少ない画像を生成する方法が望まれていた。 When an image is captured while changing the relative position between the workpiece and the imaging device, the captured image is blurred. At this time, it was difficult to accurately detect information such as the shape, posture, and position of the workpiece. Therefore, there has been a demand for a method of generating an image with less blur even when imaging is performed while changing the relative position between the workpiece and the imaging device.

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態または適用例として実現することが可能である。 SUMMARY An advantage of some aspects of the invention is to solve at least a part of the problems described above, and the invention can be implemented as the following forms or application examples.

［適用例１］
本適用例にかかる撮像方法は、撮像装置を用いてワークを撮像する撮像方法であって、変形する可動部を用いて前記撮像装置と前記ワークとのうち少なくとも一方を移動する移動工程と、前記移動工程と並行して行われ前記ワークを撮像する撮像工程と、前記撮像装置と前記ワークとが相対移動する移動軌跡を演算する軌跡算出工程と、前記移動軌跡の情報を用いて撮像した画像を補正する補正工程と、を有し、前記移動工程では前記可動部の姿勢を検出し、前記軌跡算出工程では可動部における前記姿勢の情報である姿勢情報を用いて前記ワークに対する前記撮像装置の前記移動軌跡を算出することを特徴とする。 [Application Example 1]
The imaging method according to this application example is an imaging method of imaging a workpiece using an imaging device, and a moving step of moving at least one of the imaging device and the workpiece using a deformable movable unit; An imaging step that is performed in parallel with the moving step, images the workpiece, a trajectory calculating step that calculates a moving trajectory in which the imaging device and the workpiece move relative to each other, and an image that is captured using the information on the moving trajectory. A correction step for correcting, wherein in the movement step, the posture of the movable portion is detected, and in the trajectory calculation step, the posture information of the posture in the movable portion is used to determine the posture of the imaging device with respect to the workpiece. The movement trajectory is calculated.

この撮像方法によれば、ワークと撮像装置とのうち少なくとも一方を移動しながらワークを撮像する。このとき、撮像する画像にはブレが生成され易くなっている。移動工程では可動部の姿勢を検出する。そして、軌跡算出工程では可動部の姿勢が変化する情報を用いてワークに対する撮像装置の移動軌跡を算出している。そして、補正工程では移動軌跡の情報を用いることにより撮像した画像の補正を行っている。従って、ワークの位置と撮像装置の位置とを直接検出しなくても撮像した画像を補正することができる。 According to this imaging method, the workpiece is imaged while moving at least one of the workpiece and the imaging device. At this time, blur is easily generated in the image to be captured. In the moving process, the posture of the movable part is detected. In the trajectory calculation step, the movement trajectory of the imaging device with respect to the workpiece is calculated using information that changes the attitude of the movable part. In the correction process, the captured image is corrected by using the information of the movement trajectory. Therefore, the captured image can be corrected without directly detecting the position of the workpiece and the position of the imaging device.

［適用例２］
上記適用例にかかる撮像方法において、前記移動工程では前記姿勢情報を記憶部に記憶し、前記軌跡算出工程では前記記憶部に記憶した前記姿勢情報を再生して前記撮像装置の移動軌跡を演算することを特徴とする。 [Application Example 2]
In the imaging method according to the application example, in the moving step, the posture information is stored in a storage unit, and in the locus calculation step, the posture information stored in the storage unit is reproduced to calculate a movement locus of the imaging device. It is characterized by that.

この撮像方法によれば、移動工程では可動部の姿勢の情報を記憶部に記憶している。そして、軌跡算出工程では可動部の姿勢の情報を再生している。従って、移動工程と軌跡算出工程とは並行せずに行うことができる。軌跡算出工程における演算速度に影響されることなく、移動工程では撮像装置とワークとのうち少なくとも一方を移動することができる。 According to this imaging method, in the moving process, information on the posture of the movable part is stored in the storage unit. In the trajectory calculation step, information on the posture of the movable part is reproduced. Therefore, the movement process and the trajectory calculation process can be performed without being performed in parallel. In the moving process, at least one of the imaging device and the workpiece can be moved without being affected by the calculation speed in the trajectory calculating process.

［適用例３］
上記適用例にかかる撮像方法において、前記移動工程において前記撮像装置が撮像するとき、前記撮像装置の光軸方向と直交する方向に前記可動部は前記撮像装置を移動させることを特徴とする。 [Application Example 3]
In the imaging method according to the application example, when the imaging device captures an image in the moving step, the movable unit moves the imaging device in a direction orthogonal to the optical axis direction of the imaging device.

この撮像方法によれば、撮像装置とワークとの距離の変動を小さくして撮像することができる。従って、撮像する画像はピンぼけの少ない画像にすることができる。このピンぼけは撮像装置が撮像するときに焦点が合わないことによりぼけることを示す。 According to this imaging method, imaging can be performed with a small variation in the distance between the imaging device and the workpiece. Therefore, an image to be captured can be an image with less defocus. This defocusing indicates that the image pickup apparatus is out of focus when taking an image.

［適用例４］
上記適用例にかかる撮像方法において、前記補正工程では前記ワークに対する前記撮像装置の前記移動軌跡の情報を用いて点像分布関数を演算し、前記点像分布関数を用いて復元フィルタを演算し、前記復元フィルタを用いて前記画像を補正することを特徴とする。 [Application Example 4]
In the imaging method according to the application example, in the correction step, a point spread function is calculated using information on the movement trajectory of the imaging device with respect to the workpiece, a restoration filter is calculated using the point spread function, The image is corrected using the restoration filter.

この撮像方法によれば、ワークに対する撮像装置の移動軌跡を用いて点像分布関数を演算する為、精度良く点像分布関数を算出することができる。その結果、精度良く画像を補正することができる。 According to this imaging method, since the point spread function is calculated using the movement trajectory of the imaging device relative to the workpiece, the point spread function can be calculated with high accuracy. As a result, the image can be corrected with high accuracy.

［適用例５］
上記適用例にかかる撮像方法を用いたピッキング方法において、前記補正工程にて補正した補正画像を用いて前記ワークの場所を検出する位置認識工程と、前記ワークを把持して移動するワーク移動工程と、を有することを特徴とする。 [Application Example 5]
In the picking method using the imaging method according to the application example, a position recognition step for detecting the location of the workpiece using the correction image corrected in the correction step, and a workpiece movement step for gripping and moving the workpiece. It is characterized by having.

このピッキング方法によれば、精度良く補正された画像を用いてワークの場所を検出している。従って、ワークの位置を精度良く認識することができる。 According to this picking method, the location of the workpiece is detected using an image corrected with high accuracy. Therefore, the position of the workpiece can be recognized with high accuracy.

［適用例６］
本適用例にかかるピッキング装置は、ワークを把持して移動するピッキング装置であって、前記ワークを把持する把持部と、前記ワークを撮像する撮像装置と、前記ワーク及び前記撮像装置のうち少なくとも一方を移動する可動部と、前記可動部の姿勢を検出して前記可動部の姿勢を示す姿勢情報を出力する可動部姿勢検出部と、前記姿勢情報を用いて前記撮像装置と前記ワークとが相対移動する移動軌跡を演算する軌跡演算部と、前記移動軌跡の情報を用いて前記撮像装置が画像を補正した補正画像を形成する補正部と、前記補正画像を用いて前記ワークの場所を検出する位置検出部と、を有し、前記軌跡演算部は前記姿勢情報を用いて前記移動軌跡を算出することを特徴とする。 [Application Example 6]
The picking device according to this application example is a picking device that grips and moves a workpiece, and is a gripping unit that grips the workpiece, an imaging device that images the workpiece, and at least one of the workpiece and the imaging device. A movable portion that detects the posture of the movable portion and outputs posture information indicating the posture of the movable portion, and the imaging device and the workpiece are relative to each other using the posture information. A trajectory calculation unit that calculates a moving trajectory, a correction unit that forms a correction image obtained by correcting the image using the information on the movement trajectory, and a location of the workpiece using the correction image. A position detection unit, wherein the locus calculation unit calculates the movement locus using the posture information.

このピッキング装置によれば、可動部がワーク及び撮像装置のうち少なくとも一方を移動しながら、撮像装置がワークを撮像することができる。そして、可動部姿勢検出部が可動部の姿勢を検出した後、軌跡演算部がワークに対する撮像装置の移動軌跡の情報を算出する。そして、補正部は移動軌跡の情報を用いて撮像した画像を補正する。位置検出部は補正した画像を用いてワークの場所を検出し、把持部はワークを把持して移動することができる。 According to the picking device, the imaging device can image the workpiece while the movable unit moves at least one of the workpiece and the imaging device. And after a movable part attitude | position detection part detects the attitude | position of a movable part, a locus | trajectory calculation part calculates the information of the movement locus | trajectory of the imaging device with respect to a workpiece | work. The correction unit corrects the captured image using the information on the movement locus. The position detection unit detects the location of the workpiece using the corrected image, and the gripping unit can grip and move the workpiece.

［適用例７］
上記適用例にかかるピッキング装置において、前記可動部姿勢検出部が検出する前記姿勢情報を記憶する記憶部を有し、前記軌跡演算部は前記姿勢情報を再生して入力することを特徴とする。 [Application Example 7]
In the picking device according to the application example described above, the picking device includes a storage unit that stores the posture information detected by the movable portion posture detection unit, and the trajectory calculation unit reproduces and inputs the posture information.

このピッキング装置によれば、記憶部は姿勢情報を記憶し、軌跡演算部は可動部の姿勢情報を再生している。従って、ワーク及び撮像装置のうち少なくとも一方の移動と移動軌跡の演算とは並行せずに行うことができる。移動軌跡の演算速度に影響されることなく、可動部はワーク及び撮像装置のうち少なくとも一方を移動することができる。 According to this picking apparatus, the storage unit stores the posture information, and the trajectory calculation unit reproduces the posture information of the movable unit. Therefore, the movement of at least one of the workpiece and the imaging device and the calculation of the movement locus can be performed in parallel. The movable part can move at least one of the workpiece and the imaging device without being affected by the calculation speed of the movement locus.

［適用例８］
上記適用例にかかる撮像方法において、前記可動部は可動する複数の可動要素を有し、前記移動工程において前記撮像装置が撮像するとき、前記可動部は複数の前記可動要素のうち１つの前記可動要素を移動して変形し、前記撮像装置の光軸方向と直交する方向に前記撮像装置を移動させることを特徴とする。 [Application Example 8]
In the imaging method according to the application example, the movable unit includes a plurality of movable elements that are movable, and when the imaging device performs imaging in the moving step, the movable unit is one of the plurality of movable elements. The element is moved and deformed, and the imaging apparatus is moved in a direction orthogonal to the optical axis direction of the imaging apparatus.

この撮像方法によれば、可動部は１つの可動要素を移動するので複数の可動要素を移動する場合に比べて、姿勢を簡便に検出することができる。 According to this imaging method, since the movable unit moves one movable element, the posture can be easily detected as compared with the case where a plurality of movable elements are moved.

以下、実施形態について図面に従って説明する。尚、各図面における各部材は、各図面上で認識可能な程度の大きさとするため、各部材毎に縮尺を異ならせて図示している。
（実施形態）
本実施形態における特徴的な撮像方法と撮像したワークをピッキングする方法とについて図１〜図６に従って説明する。ピッキングはワークを把持して移動して離すことにより、ワーク移動させる動作を示す。 Hereinafter, embodiments will be described with reference to the drawings. In addition, each member in each drawing is illustrated with a different scale for each member in order to make the size recognizable on each drawing.
(Embodiment)
A characteristic imaging method and a method of picking up an imaged work in the present embodiment will be described with reference to FIGS. Picking indicates an operation of moving a workpiece by gripping the workpiece, moving it, and releasing it.

図１は、ピッキング装置の構成を示す概略斜視図である。図１に示すように、ピッキング装置１は主にワーク供給装置２、可動部としてのロボット３及びワーク収納装置４から構成されている。ワーク供給装置２はワークとしての部品５を供給する装置である。部品５の形状や材質は特に限定されない、例えば、実施形態において部品５は金属製の直方体となっている。 FIG. 1 is a schematic perspective view showing the configuration of the picking apparatus. As shown in FIG. 1, the picking device 1 mainly includes a workpiece supply device 2, a robot 3 as a movable part, and a workpiece storage device 4. The workpiece supply device 2 is a device that supplies a component 5 as a workpiece. The shape and material of the component 5 are not particularly limited. For example, in the embodiment, the component 5 is a metal cuboid.

ワーク供給装置２は部品整列装置６と搬送装置７とを備えている。部品整列装置６は円錐状の皿部６ａ及び皿部６ａを支持する支持台６ｂ等から構成されている。そして、皿部６ａと支持台６ｂの間には図示しない振動装置が配置されている。皿部６ａの内側には螺旋状の段差が形成されている。段差は所定の幅の平坦部を有し、平坦部は部品５が通過する通路になっている。平坦部は皿部６ａの底から上部まで連続して形成されている。そして、振動装置が皿部６ａを振動させるとき部品５が平坦部に沿って移動するようになっている。平坦部の幅は部品５が１個に限って通過可能な幅に形成されているので、部品５が通路を通過することにより部品５は１列に配列する。 The workpiece supply device 2 includes a component alignment device 6 and a transfer device 7. The component aligning device 6 includes a conical plate portion 6a and a support base 6b that supports the plate portion 6a. And the vibration apparatus which is not shown in figure is arrange | positioned between the plate part 6a and the support stand 6b. A spiral step is formed inside the dish portion 6a. The step has a flat portion having a predetermined width, and the flat portion is a passage through which the component 5 passes. The flat part is continuously formed from the bottom to the top of the dish part 6a. And when a vibration apparatus vibrates the dish part 6a, the components 5 move along a flat part. Since the width of the flat portion is formed such that only one component 5 can pass through, the components 5 are arranged in a row when the component 5 passes through the passage.

搬送装置７の上側にはベルトコンベア７ａが配置されている。ベルトコンベア７ａは１方向に長く延在して配置されている。この方向をＹ方向とする。そして水平方向においてＹ方向と直交する方向をＸ方向とし、鉛直方向をＺ方向とする。搬送装置７は内部にステップモータ及びプーリーを備え、ベルトコンベア７ａを移動及び停止することができる。ベルトコンベア７ａの一端は部品整列装置６の上部と接続されている。皿部６ａの上部まで移動した部品５はベルトコンベア７ａの上に移動する。そして、部品５はベルトコンベア７ａにより順次図中右側へ移動し、所定の場所に停止するようになっている。従って、ベルトコンベア７ａ上には部品５が配列して配置される。 A belt conveyor 7 a is arranged on the upper side of the conveying device 7. The belt conveyor 7a is arranged to extend long in one direction. This direction is the Y direction. In the horizontal direction, the direction orthogonal to the Y direction is defined as the X direction, and the vertical direction is defined as the Z direction. The transport device 7 includes a step motor and a pulley inside, and can move and stop the belt conveyor 7a. One end of the belt conveyor 7 a is connected to the upper part of the component aligning device 6. The component 5 that has moved to the upper part of the dish portion 6a moves onto the belt conveyor 7a. The parts 5 are sequentially moved to the right side in the figure by the belt conveyor 7a and stopped at a predetermined place. Accordingly, the parts 5 are arranged and arranged on the belt conveyor 7a.

ワーク供給装置２の図中右側にはロボット３が配置されている。ロボット３は基台８を備え、基台８上には回転台９が配置されている。回転台９は固定台９ａと回転軸９ｂとを備えている。回転台９は内部にサーボモータと減速機構とを備え、回転軸９ｂを角度精度良く回転及び停止することができる。サーボモータは回転軸９ｂの回転角度を検出するエンコーダを備えている。そして、エンコーダの出力を用いて固定台９ａに対する回転軸９ｂの相対角度を検出することが可能になっている。 A robot 3 is arranged on the right side of the workpiece supply device 2 in the figure. The robot 3 includes a base 8, and a turntable 9 is disposed on the base 8. The turntable 9 includes a fixed table 9a and a rotation shaft 9b. The turntable 9 includes a servo motor and a speed reduction mechanism inside, and can rotate and stop the rotation shaft 9b with high angular accuracy. The servo motor includes an encoder that detects the rotation angle of the rotation shaft 9b. And the relative angle of the rotating shaft 9b with respect to the fixed base 9a can be detected using the output of the encoder.

回転台９の回転軸９ｂと接続して第１関節１０が配置され、第１関節１０と接続して第１腕１１が配置されている。第１腕１１と接続して第２関節１２が配置され、第２関節１２と接続して第２腕１３が配置されている。第２腕１３は固定軸１３ａと回転軸１３ｂとを備え、第２腕１３は第２腕１３の長手方向を軸にして回転軸１３ｂを回転することができる。第２腕１３の回転軸１３ｂと接続して第３関節１４が配置され、第３関節１４と接続して第３腕１５が配置されている。第３腕１５は固定軸１５ａと回転軸１５ｂとを備え、第３腕１５は第３腕１５の長手方向を回転軸にして回転軸１５ｂを回転することができる。第３腕１５の回転軸１５ｂと接続して可動要素及び把持部としての手部１６が配置され、手部１６には一対の指部１６ａが配置されている。手部１６にはサーボモータとサーボモータにより駆動される直動機構を備えている。そして、この直動機構により指部１６ａの間隔を変更可能になっている。 A first joint 10 is disposed in connection with the rotation shaft 9 b of the turntable 9, and a first arm 11 is disposed in connection with the first joint 10. A second joint 12 is disposed in connection with the first arm 11, and a second arm 13 is disposed in connection with the second joint 12. The second arm 13 includes a fixed shaft 13 a and a rotation shaft 13 b, and the second arm 13 can rotate the rotation shaft 13 b about the longitudinal direction of the second arm 13. A third joint 14 is disposed in connection with the rotation shaft 13 b of the second arm 13, and a third arm 15 is disposed in connection with the third joint 14. The third arm 15 includes a fixed shaft 15a and a rotation shaft 15b, and the third arm 15 can rotate the rotation shaft 15b with the longitudinal direction of the third arm 15 as a rotation axis. A hand part 16 as a movable element and a gripping part is arranged in connection with the rotation shaft 15 b of the third arm 15, and a pair of finger parts 16 a are arranged in the hand part 16. The hand portion 16 includes a servo motor and a linear motion mechanism driven by the servo motor. And the space | interval of the finger part 16a can be changed with this linear motion mechanism.

回転軸１３ｂと接続して第１支持腕１７が配置されている。第１支持腕１７は第２腕１３の上側に突出して配置されている。第１支持腕１７と接続して支持部関節１８が配置され、支持部関節１８と接続して第２支持腕１９が配置されている。第２支持腕１９には撮像装置２０が配置されている。ロボット３に配置された各関節、腕、支持部が可動要素となっている。 A first support arm 17 is arranged in connection with the rotary shaft 13b. The first support arm 17 is disposed so as to protrude above the second arm 13. A support joint 18 is disposed in connection with the first support arm 17, and a second support arm 19 is disposed in connection with the support joint 18. An imaging device 20 is disposed on the second support arm 19. Each joint, arm, and support portion arranged in the robot 3 are movable elements.

第１関節１０、第２関節１２、第２腕１３、第３関節１４、第３腕１５、支持部関節１８は内部にサーボモータ及び減速機構等からなる回転機構を備えている。そして、第１関節１０、第２関節１２、第２腕１３、第３関節１４、第３腕１５、支持部関節１８は角度精度良く回転及び停止することができる。各サーボモータは回転軸の回転角度を検出するエンコーダを備えている。そして、エンコーダの出力を用いて回転台９に対する第１腕１１の相対角度及び第１腕１１に対する第２腕１３の相対角度が検出可能になっている。同様に、第２腕１３における固定軸１３ａに対する回転軸１３ｂの相対角度及び第１支持腕１７に対する第２支持腕１９の相対角度が検出可能になっている。さらに、第２腕１３に対する第３腕１５の相対角度及び第３腕１５における固定軸１５ａに対する回転軸１５ｂの相対角度を検出することが可能になっている。上述のようにロボット３は多くの関節と回転機構を備えている。そして、これらの各腕及び回転軸の位置や角度を検出することによりロボット３の姿勢を検出することが可能になっている。 The first joint 10, the second joint 12, the second arm 13, the third joint 14, the third arm 15, and the support joint 18 are provided with a rotation mechanism including a servo motor and a speed reduction mechanism. The first joint 10, the second joint 12, the second arm 13, the third joint 14, the third arm 15, and the support joint 18 can be rotated and stopped with high angular accuracy. Each servo motor includes an encoder that detects the rotation angle of the rotation shaft. The relative angle of the first arm 11 with respect to the turntable 9 and the relative angle of the second arm 13 with respect to the first arm 11 can be detected using the output of the encoder. Similarly, the relative angle of the rotation shaft 13b with respect to the fixed shaft 13a in the second arm 13 and the relative angle of the second support arm 19 with respect to the first support arm 17 can be detected. Further, the relative angle of the third arm 15 with respect to the second arm 13 and the relative angle of the rotation shaft 15b with respect to the fixed shaft 15a in the third arm 15 can be detected. As described above, the robot 3 includes many joints and a rotation mechanism. The posture of the robot 3 can be detected by detecting the position and angle of each arm and rotation axis.

また、これらの関節及び回転機構に加えて指部１６ａを制御することによりワークを把持することが可能になっている。同様に、第２腕１３の角度と対応して第２支持腕１９の角度を制御することにより、撮像装置２０における光軸の方向をＺ方向にすることができる。 In addition to these joints and rotation mechanism, it is possible to grip the workpiece by controlling the finger portion 16a. Similarly, by controlling the angle of the second support arm 19 corresponding to the angle of the second arm 13, the direction of the optical axis in the imaging device 20 can be changed to the Z direction.

ロボット３の図中右上にはワーク収納装置４が配置されている。ワーク収納装置４の上面は載置面４ａとなっている。そして、載置面４ａにおいてロボット３は部品５を並べて配置する。ワーク収納装置４は内部に昇降装置を備え、載置面４ａを下降させることができる。そして、ワーク収納装置４は内部に部品５を積層して収納することが可能になっている。 A work storage device 4 is arranged at the upper right of the robot 3 in the figure. The upper surface of the work storage device 4 is a mounting surface 4a. Then, the robot 3 places the components 5 side by side on the placement surface 4a. The workpiece storage device 4 includes an elevating device inside, and can lower the placement surface 4a. And the workpiece | work storage apparatus 4 can laminate | stack and store the components 5 inside.

ロボット３の図中左下側には制御装置２２が配置されている。制御装置２２はワーク供給装置２、ロボット３、ワーク収納装置４等を含むピッキング装置１を制御する装置である。 A control device 22 is arranged on the lower left side of the robot 3 in the figure. The control device 22 is a device that controls the picking device 1 including the workpiece supply device 2, the robot 3, the workpiece storage device 4, and the like.

図２は、ピッキング装置の電気制御ブロック図である。図２において、ピッキング装置１の制御部としての制御装置２２はプロセッサとして各種の演算処理を行うＣＰＵ（演算処理装置）２５と各種情報を記憶する記憶部としてのメモリ２６とを有する。 FIG. 2 is an electric control block diagram of the picking apparatus. In FIG. 2, a control device 22 as a control unit of the picking device 1 includes a CPU (arithmetic processing device) 25 that performs various arithmetic processes as a processor and a memory 26 as a storage unit that stores various information.

ロボット駆動装置２７、撮像装置２０、ワーク供給装置２、ワーク収納装置４は、入出力インターフェース２８及びデータバス２９を介してＣＰＵ２５に接続されている。さらに、入力装置３０、表示装置３１も入出力インターフェース２８及びデータバス２９を介してＣＰＵ２５に接続されている。 The robot drive device 27, the imaging device 20, the workpiece supply device 2, and the workpiece storage device 4 are connected to the CPU 25 via the input / output interface 28 and the data bus 29. Further, the input device 30 and the display device 31 are also connected to the CPU 25 via the input / output interface 28 and the data bus 29.

ロボット駆動装置２７は、ロボット３と接続されロボット３の動作を制御する装置である。ロボット駆動装置２７は、ロボット３の姿勢に関する情報をＣＰＵ２５に出力することができる。そして、ＣＰＵ２５が指示する場所にロボット駆動装置２７は撮像装置２０を移動することにより、撮像装置２０は所望の場所を撮像することができる。さらに、ＣＰＵ２５が指示する場所にロボット駆動装置２７は手部１６を移動した後、指部１６ａを動作することによりロボット３はワークを把持することが可能になっている。 The robot drive device 27 is a device that is connected to the robot 3 and controls the operation of the robot 3. The robot drive device 27 can output information related to the posture of the robot 3 to the CPU 25. Then, the robot drive device 27 moves the imaging device 20 to a location indicated by the CPU 25, so that the imaging device 20 can image a desired location. Furthermore, after the robot drive device 27 moves the hand portion 16 to a location designated by the CPU 25, the robot 3 can grip the workpiece by operating the finger portion 16a.

撮像装置２０は部品５を撮像する装置である。ＣＰＵ２５の指示する信号に従って撮像した後、撮像した画像のデータをメモリ２６に出力する。 The imaging device 20 is a device that images the component 5. After taking an image according to a signal instructed by the CPU 25, the taken image data is output to the memory 26.

ワーク供給装置２はＣＰＵ２５の指示により部品整列装置６及び搬送装置７を駆動する。そして、ロボット３の手部１６が到達可能な範囲に部品５を供給する。ワーク収納装置４はＣＰＵ２５の指示により昇降装置を駆動する。そして、ロボット３が部品５を置く高さを制御する。 The workpiece supply device 2 drives the component aligning device 6 and the conveying device 7 according to instructions from the CPU 25. Then, the component 5 is supplied to a range that can be reached by the hand 16 of the robot 3. The work storage device 4 drives the lifting device in accordance with an instruction from the CPU 25. Then, the height at which the robot 3 places the component 5 is controlled.

入力装置３０は部品５の位置認識をする条件やピッキング動作の動作条件等の諸情報を入力する装置である。例えば、部品５の形状を示す座標を図示しない外部装置から受信し、入力する装置である。表示装置３１は部品５やロボット３に関するデータや作業状況を表示する装置である。表示装置３１に表示される情報を基に入力装置３０を用いて操作者が入力操作を行う。 The input device 30 is a device for inputting various information such as a condition for recognizing the position of the component 5 and an operation condition for the picking operation. For example, it is a device that receives and inputs coordinates indicating the shape of the component 5 from an external device (not shown). The display device 31 is a device that displays data and work status related to the component 5 and the robot 3. An operator performs an input operation using the input device 30 based on the information displayed on the display device 31.

メモリ２６は、ＲＡＭ、ＲＯＭ等といった半導体メモリや、ハードディスク、ＤＶＤ−ＲＯＭといった外部記憶装置を含む概念である。機能的には、ピッキング装置１における動作の制御手順が記述されたプログラムソフト３２を記憶する記憶領域がメモリ２６に設定される。さらに、部品５の形状や手部１６が把持する場所等の情報であるワーク関連データ３３を記憶するための記憶領域もメモリ２６に設定される。さらに、ロボット３を構成する要素の情報や、ワーク供給装置２及びワーク収納装置４とロボット３との相対位置等の情報であるロボット関連データ３４を記憶するための記憶領域もメモリ２６に設定される。さらに、ロボット３が撮像装置２０を移動するときにおける各腕部等の姿勢を示す情報であるロボット姿勢データ３５を記憶するための記憶領域もメモリ２６に設定される。さらに、撮像装置２０が撮像した画像のデータや補正後の画像のデータである画像データ３６を記憶するための記憶領域もメモリ２６に設定される。他にも、ＣＰＵ２５のためのワークエリアやテンポラリファイル等として機能する記憶領域やその他各種の記憶領域がメモリ２６に設定される。 The memory 26 is a concept including a semiconductor memory such as a RAM and a ROM, and an external storage device such as a hard disk and a DVD-ROM. Functionally, a storage area for storing the program software 32 in which the operation control procedure in the picking apparatus 1 is described is set in the memory 26. Furthermore, a storage area for storing work-related data 33 that is information such as the shape of the part 5 and the location where the hand portion 16 is gripped is also set in the memory 26. Further, a memory area for storing robot-related data 34 which is information on the elements constituting the robot 3 and information on the relative positions of the workpiece supply device 2 and the workpiece storage device 4 and the robot 3 is also set in the memory 26. The Furthermore, a storage area for storing robot posture data 35 that is information indicating the posture of each arm or the like when the robot 3 moves the imaging device 20 is also set in the memory 26. Furthermore, a storage area for storing image data 36 that is image data captured by the image capturing apparatus 20 and image data after correction is also set in the memory 26. In addition, a storage area that functions as a work area for the CPU 25, a temporary file, and the like, and other various storage areas are set in the memory 26.

ＣＰＵ２５はメモリ２６内に記憶されたプログラムソフト３２に従って、部品５の位置及び姿勢を検出した後、部品５を移動させるための制御を行うものである。具体的な機能実現部として、ロボット３を駆動して部品５や撮像装置２０を移動させるための制御を行うロボット制御部３７を有する。ロボット３の各サーボモータが備えるエンコーダ、ロボット駆動装置２７、ロボット制御部３７等により可動部姿勢検出部が構成されている。ロボット制御部３７は撮像装置２０を駆動する制御も行う。他にも、ロボット３の各腕部の場所や姿勢の情報を入力して撮像装置２０の場所を演算する姿勢演算部３８を有する。さらに、撮像装置２０の軌跡を演算する軌跡演算部３９を有する。さらに、撮像装置２０の軌跡の情報を用いて撮像した画像のブレを補正する画像補正演算部４０を有する。さらに、補正した画像を用いて部品５の位置を演算するワーク位置演算部４１を有する。他にも、ロボット３の動作と連携してワーク供給装置２及びワーク収納装置４の動作を制御する除給材制御部４２等を有する。 The CPU 25 performs control for moving the component 5 after detecting the position and orientation of the component 5 according to the program software 32 stored in the memory 26. As a specific function realization unit, a robot control unit 37 that performs control for driving the robot 3 to move the component 5 and the imaging device 20 is provided. The encoder, robot drive unit 27, robot control unit 37, and the like included in each servo motor of the robot 3 constitute a movable unit posture detection unit. The robot control unit 37 also performs control for driving the imaging device 20. In addition, it has a posture calculation unit 38 for calculating the location of the imaging device 20 by inputting information on the location and posture of each arm of the robot 3. Furthermore, a trajectory calculation unit 39 that calculates the trajectory of the imaging device 20 is provided. Furthermore, an image correction calculation unit 40 that corrects blurring of an image captured using information on the trajectory of the imaging device 20 is provided. Furthermore, it has the workpiece | work position calculating part 41 which calculates the position of the components 5 using the correct | amended image. In addition, it has a discharged material control unit 42 that controls the operation of the workpiece supply device 2 and the workpiece storage device 4 in cooperation with the operation of the robot 3.

（撮像方法及びピッキング方法）
次に、上述したピッキング装置１を用いて部品５を移動する作業における撮像方法及びピッキング方法について図３〜図６にて説明する。図３は、部品のピッキング工程を示すフローチャートである。図４〜図６は、ピッキング作業の作業方法を説明するための模式図である。 (Imaging method and picking method)
Next, an imaging method and a picking method in an operation of moving the component 5 using the above-described picking device 1 will be described with reference to FIGS. FIG. 3 is a flowchart showing a part picking process. 4 to 6 are schematic diagrams for explaining a work method of the picking work.

図３に示すフローチャートにおいて、ステップＳ１は、部品供給工程に相当する。除給材制御部がワーク供給装置を駆動してベルトコンベア上に部品を配置させる工程である。ステップＳ２とステップＳ３〜ステップＳ６とが並行して行われる。ステップＳ２は、移動工程としての撮像装置移動工程に相当し、ロボット制御部がロボットを駆動して撮像装置を部品に向かって移動させる工程である。次にステップＳ７に移行する。ステップＳ３は、撮像工程に相当し、撮像装置が部品を撮像する工程である。次に、ステップＳ４に移行する。ステップＳ４は、軌跡算出工程に相当し、撮像装置が部品の撮像に要した時間内に撮像装置が移動した軌跡を演算する工程である。次にステップＳ５に移行する。ステップＳ５は、補正工程に相当し、撮像装置が撮像した画像のブレを補正する工程である。次にステップＳ６に移行する。ステップＳ６は、位置認識工程に相当し、ワークの位置を算出する工程である。次にステップＳ７に移行する。ステップＳ７は、ワーク移動工程に相当し、ロボットが部品をワーク収納装置まで移動する工程である。次にステップＳ８に移行する。ステップＳ８は、終了判断工程に相当し、ピッキング作業を終了するか否かを判断する工程である。ピッキング作業を継続するとき、ステップＳ１に移行する。ピッキング作業を終了するとき、部品のピッキング工程を終了する。 In the flowchart shown in FIG. 3, step S1 corresponds to a component supply process. This is a process in which the material removal control unit drives the workpiece supply device to place components on the belt conveyor. Step S2 and steps S3 to S6 are performed in parallel. Step S2 corresponds to an imaging apparatus moving process as a moving process, and is a process in which the robot controller drives the robot to move the imaging apparatus toward the part. Next, the process proceeds to step S7. Step S 3 corresponds to an imaging step, and is a step in which the imaging device images a component. Next, the process proceeds to step S4. Step S4 corresponds to a trajectory calculation step, and is a step of calculating a trajectory in which the imaging device has moved within the time required for the imaging device to image the part. Next, the process proceeds to step S5. Step S5 corresponds to a correction step, and is a step of correcting blurring of an image captured by the imaging device. Next, the process proceeds to step S6. Step S6 corresponds to a position recognition step, and is a step of calculating the position of the workpiece. Next, the process proceeds to step S7. Step S7 corresponds to a workpiece moving process, and is a process in which the robot moves the component to the workpiece storage device. Next, the process proceeds to step S8. Step S8 corresponds to an end determination step and is a step of determining whether or not to end the picking work. When the picking operation is continued, the process proceeds to step S1. When the picking work is finished, the part picking process is finished.

次に、図４〜図６を用いて、図３に示したステップと対応させて、ピッキング工程における撮像方法及びピッキング方法を詳細に説明する。図４はステップＳ１の部品供給工程及びステップＳ２の撮像装置移動工程に対応する図である。図４（ａ）に示すように、ステップＳ１において、ベルトコンベア７ａ上に部品５が載置される。そして、ベルトコンベア７ａが部品５を移動させる。その結果、部品５は予め設定された撮像場所としての把持予定場所４５に位置する。 Next, the imaging method and the picking method in the picking process will be described in detail with reference to FIGS. 4 to 6 in association with the steps shown in FIG. FIG. 4 is a diagram corresponding to the component supplying process in step S1 and the imaging device moving process in step S2. As shown to Fig.4 (a), in step S1, the components 5 are mounted on the belt conveyor 7a. Then, the belt conveyor 7a moves the component 5. As a result, the component 5 is located at a predetermined holding location 45 as an imaging location set in advance.

ステップＳ２において、ロボット制御部３７はロボット３を駆動する。そして、ロボット制御部３７は移動前場所４６から把持予定場所４５と対応する場所に向かって撮像装置２０を移動させる。移動前場所４６は特定の場所では無く、前工程の作業が終了したときに撮像装置２０が位置した場所である。ロボット３はベルトコンベア７ａにおいて部品５が載置されている面と平行に撮像装置２０を移動させる。従って、撮像装置２０の光軸と直交する方向に撮像装置２０は移動させられる。そして、撮像装置２０が部品５と対向する場所を通過するとき、撮像装置２０の焦点距離を殆ど調整することなく撮像することができる。 In step S 2, the robot control unit 37 drives the robot 3. Then, the robot control unit 37 moves the imaging device 20 from the pre-movement location 46 toward a location corresponding to the planned holding location 45. The pre-movement location 46 is not a specific location, but is a location where the imaging device 20 is located when the work of the previous process is completed. The robot 3 moves the imaging device 20 parallel to the surface on which the component 5 is placed on the belt conveyor 7a. Therefore, the imaging device 20 is moved in a direction orthogonal to the optical axis of the imaging device 20. And when the imaging device 20 passes the place facing the component 5, it can image, without adjusting the focal distance of the imaging device 20 almost.

図４（ｂ）は各関節及び腕に配置されたエンコーダの出力の推移を示すタイムチャートである。図４（ｂ）において、横軸は時間の経過を示し、時間は左から右へ移行する。縦軸には、撮像装置２０が移動するときの回転台９、第１関節１０、第２関節１２、第２腕１３、支持部関節１８におけるエンコーダ出力値が配置されている。エンコーダ出力値は図中上側が時計周りの角度を示している。第１エンコーダ出力線４７は回転台９におけるエンコーダの出力の推移を示している。第２エンコーダ出力線４８は第１関節１０の回転によるエンコーダの出力の推移を示している。第３エンコーダ出力線４９は第２関節１２の回転によるエンコーダの出力の推移を示している。第４エンコーダ出力線５０は第２腕１３の回転軸１３ｂの回転によるエンコーダの出力の推移を示している。第５エンコーダ出力線５１は支持部関節１８の回転によるエンコーダの出力の推移を示している。第１エンコーダ出力線４７〜第５エンコーダ出力線５１が姿勢情報となっている。 FIG. 4B is a time chart showing the transition of the output of the encoders arranged at each joint and arm. In FIG. 4B, the horizontal axis indicates the passage of time, and the time shifts from left to right. On the vertical axis, encoder output values at the turntable 9, the first joint 10, the second joint 12, the second arm 13, and the support joint 18 when the imaging device 20 moves are arranged. The encoder output value indicates the clockwise angle on the upper side in the figure. The first encoder output line 47 indicates the transition of the encoder output in the turntable 9. The second encoder output line 48 indicates the transition of the encoder output due to the rotation of the first joint 10. The third encoder output line 49 shows the transition of the encoder output due to the rotation of the second joint 12. The fourth encoder output line 50 shows the transition of the output of the encoder due to the rotation of the rotating shaft 13b of the second arm 13. The fifth encoder output line 51 shows the transition of the encoder output due to the rotation of the support joint 18. The first encoder output line 47 to the fifth encoder output line 51 are posture information.

時間軸上の撮像開始時５２ａは撮像装置２０が撮像を開始する時を示している。撮像終了時５２ｂは撮像装置２０が撮像を終了する時を示している。撮像時間５２ｃは撮像装置２０が撮像している間の時間を示す。記憶開始時５３ａは、ロボット制御部３７がエンコーダ出力値をメモリ２６に記憶することを開始する時を示す。記憶終了時５３ｂは、ロボット制御部３７がエンコーダ出力値をメモリ２６に記憶することを終了する時を示す。記憶時間５３ｃは、ロボット制御部３７がエンコーダ出力値をメモリ２６に記憶している間の時間を示す。把持時５４は、ロボット３が部品５を把持する時を示している。 The imaging start time 52a on the time axis indicates the time when the imaging apparatus 20 starts imaging. An imaging end time 52b indicates a time when the imaging device 20 ends imaging. The imaging time 52c indicates the time during which the imaging device 20 is imaging. The storage start time 53a indicates a time when the robot control unit 37 starts to store the encoder output value in the memory 26. The storage end time 53b indicates a time when the robot control unit 37 ends storing the encoder output value in the memory 26. The storage time 53 c indicates a time during which the robot control unit 37 stores the encoder output value in the memory 26. A gripping time 54 indicates a time when the robot 3 grips the component 5.

記憶開始時５３ａは撮像開始時５２ａより早く設定され、記憶終了時５３ｂは撮像終了時５２ｂより遅く設定されている。従って、撮像時間５２ｃに加えて撮像前後の時間における各エンコーダの出力値がメモリ２６にロボット姿勢データ３５として記憶される。 The storage start time 53a is set earlier than the imaging start time 52a, and the storage end time 53b is set later than the imaging end time 52b. Accordingly, in addition to the imaging time 52 c, the output values of the encoders in the time before and after imaging are stored in the memory 26 as robot posture data 35.

第１エンコーダ出力線４７が示すように、撮像装置２０が移動前場所４６から把持予定場所４５と対向する場所に移動するとき、第１エンコーダ出力線４７は下降する。つまり、回転軸９ｂは反時計周りに移動する。そして、撮像時間５２ｃの間も第１エンコーダ出力線４７が下降する。つまり、撮像装置２０が移動している間に撮像が行われる。 As indicated by the first encoder output line 47, when the imaging device 20 moves from the pre-movement location 46 to a location facing the planned grip location 45, the first encoder output line 47 descends. That is, the rotating shaft 9b moves counterclockwise. The first encoder output line 47 is also lowered during the imaging time 52c. That is, imaging is performed while the imaging device 20 is moving.

第２エンコーダ出力線４８、第３エンコーダ出力線４９、第５エンコーダ出力線５１は撮像開始時５２ａの図中左側にて変化している。そして、撮像時間５２ｃの間では第２エンコーダ出力線４８、第３エンコーダ出力線４９、第５エンコーダ出力線５１は変化していない。つまり、第１関節１０、第２関節１２、支持部関節１８は撮像開始時５２ａに至る前に移動が終了している。第４エンコーダ出力線５０は変化していないので、第２腕１３は回転していない。従って、撮像時間５２ｃの間は回転台９のみが回転している。 The second encoder output line 48, the third encoder output line 49, and the fifth encoder output line 51 change on the left side in the drawing at the start of imaging 52a. During the imaging time 52c, the second encoder output line 48, the third encoder output line 49, and the fifth encoder output line 51 are not changed. That is, the movement of the first joint 10, the second joint 12, and the support joint 18 is finished before reaching the imaging start time 52a. Since the fourth encoder output line 50 has not changed, the second arm 13 is not rotating. Therefore, only the turntable 9 rotates during the imaging time 52c.

撮像終了時５２ｂから把持時５４の間で第３エンコーダ出力線４９及び第５エンコーダ出力線５１が変化する。このとき、ロボット制御部３７は、第２関節１２、第３関節１４、手部１６、支持部関節１８を駆動する。 The third encoder output line 49 and the fifth encoder output line 51 change between the imaging end time 52b and the gripping time 54. At this time, the robot control unit 37 drives the second joint 12, the third joint 14, the hand unit 16, and the support unit joint 18.

図５（ａ）はステップＳ３の撮像工程に対応する図である。図５（ａ）に示すように、ステップＳ３において、撮影画像５５に部品５の画像５６が撮像される。ロボット制御部３７が撮像装置２０を移動させながら撮像するので、画像５６にはブレが生じる。その結果、撮影画像５５における画像５６の辺５６ａが太く観察される。 FIG. 5A corresponds to the imaging process in step S3. As shown in FIG. 5A, the image 56 of the component 5 is captured in the captured image 55 in step S3. Since the robot controller 37 captures an image while moving the imaging device 20, the image 56 is blurred. As a result, the side 56a of the image 56 in the captured image 55 is observed thick.

図５（ｂ）はステップＳ４の軌跡算出工程に対応する図である。ステップＳ４において、姿勢演算部３８はメモリ２６からエンコーダの出力データを再生する。そして、第１エンコーダ出力線４７〜第５エンコーダ出力線５１のデータを用いて撮像装置２０の場所を演算する。このときロボット３に設定された座標軸上における撮像装置２０の座標値を演算する。 FIG. 5B is a diagram corresponding to the trajectory calculation step of step S4. In step S 4, the attitude calculation unit 38 reproduces encoder output data from the memory 26. Then, the location of the imaging device 20 is calculated using the data of the first encoder output line 47 to the fifth encoder output line 51. At this time, the coordinate value of the imaging device 20 on the coordinate axis set in the robot 3 is calculated.

具体的には、まず回転台９の回転軸９ｂの回転角度データを用いて第１関節１０を中心に第１腕１１が移動可能な方向を算出する。次に、第１関節１０の回転角度データを用いて第２関節１２の位置を算出する。続いて、第２関節１２の回転角度データを用いて支持部関節１８の位置を算出する。次に、支持部関節１８の回転角度データを用いて撮像装置２０の位置を算出する。この手順を用いて姿勢演算部３８が撮像開始時５２ａにおける撮像装置２０の場所を算出する。 Specifically, first, the direction in which the first arm 11 can move around the first joint 10 is calculated using the rotation angle data of the rotation shaft 9 b of the turntable 9. Next, the position of the second joint 12 is calculated using the rotation angle data of the first joint 10. Subsequently, the position of the support joint 18 is calculated using the rotation angle data of the second joint 12. Next, the position of the imaging device 20 is calculated using the rotation angle data of the support joint 18. Using this procedure, the posture calculation unit 38 calculates the location of the imaging device 20 at the imaging start time 52a.

次に、撮像時間５２ｃの間における撮像装置２０の位置を順次算出する。そして、軌跡演算部３９が撮像装置２０の推移を演算する。その結果、図５（ｂ）に示すように、点像分布関数５７を示す曲線が算出される。本実施形態においては、撮像時間５２ｃの間に回転台９のみ駆動されている。従って、点像分布関数５７は回転軸９ｂを中心とした円弧となる。軌跡演算部３９は回転軸９ｂの回転中心の座標と撮像開始時５２ａにおける撮像装置２０の座標とを用いて点像分布関数５７を算出する。点像分布関数５７は撮像装置２０の光軸が移動するときの軌跡となっている。 Next, the position of the imaging device 20 during the imaging time 52c is sequentially calculated. Then, the trajectory calculation unit 39 calculates the transition of the imaging device 20. As a result, a curve indicating the point spread function 57 is calculated as shown in FIG. In the present embodiment, only the turntable 9 is driven during the imaging time 52c. Therefore, the point spread function 57 is an arc centered on the rotation axis 9b. The trajectory calculation unit 39 calculates the point spread function 57 using the coordinates of the rotation center of the rotating shaft 9b and the coordinates of the imaging device 20 at the imaging start time 52a. The point spread function 57 is a locus when the optical axis of the imaging device 20 moves.

図５（ｃ）はステップＳ５の補正工程に対応する図である。ステップＳ５において、撮影画像５５と点像分布関数５７とを用いて撮影画像５５を補正する。補正方法は特に限定されず、公知の方法を用いることができる。例えば、特開２００６−２７９８０７号公報に開示されている一般逆フィルタ関数や、特開平１１−２７５７４号公報に開示されているウィーナフィルタ、特開２００７−１８３８４２号公報に開示されているパラメトリックウイーナフィルタ、制限付最小二乗フィルタ、射影フィルタ等の復元方法を用いることができる。 FIG. 5C is a diagram corresponding to the correction process in step S5. In step S5, the captured image 55 is corrected using the captured image 55 and the point spread function 57. The correction method is not particularly limited, and a known method can be used. For example, a general inverse filter function disclosed in Japanese Patent Application Laid-Open No. 2006-279807, a Wiener filter disclosed in Japanese Patent Application Laid-Open No. 11-27574, and a parametric Wiener disclosed in Japanese Patent Application Laid-Open No. 2007-183842. A restoration method such as a filter, a restricted least square filter, or a projection filter can be used.

復元方法の一例における概要を説明する。まず、点像分布関数５７をフーリエ変換することにより、ＸＹ平面上の空間周波数分布関数を算出する。算出した分布関数は複素関数であり、この関数を点像空間周波数分布関数とする。次に、１つの点からなる画像をフーリエ変換した空間周波数分布関数を算出し、算出した分布を単点空間周波数分布関数とする。そして、単点空間周波数分布関数を点像空間周波数分布関数にて複素除算し、算出した関数を復元フィルタ関数とする。続いて、撮影画像５５をフーリエ変換することにより、ＸＹ平面上の空間周波数分布関数を算出する。算出した分布を撮像空間周波数分布関数とする。次に、撮像空間周波数分布関数と復元フィルタ関数とを複素積算し、積算した分布を補正像空間周波数分布関数とする。続いて、補正像空間周波数分布関数を逆フーリエ変換することにより補正画像を算出する。 An outline of an example of the restoration method will be described. First, a spatial frequency distribution function on the XY plane is calculated by Fourier transforming the point spread function 57. The calculated distribution function is a complex function, and this function is a point image spatial frequency distribution function. Next, a spatial frequency distribution function obtained by Fourier-transforming an image consisting of one point is calculated, and the calculated distribution is defined as a single point spatial frequency distribution function. Then, the single point spatial frequency distribution function is complex-divided by the point image spatial frequency distribution function, and the calculated function is used as a restoration filter function. Subsequently, a spatial frequency distribution function on the XY plane is calculated by Fourier transforming the captured image 55. The calculated distribution is defined as an imaging spatial frequency distribution function. Next, the imaging spatial frequency distribution function and the restoration filter function are complex-integrated, and the integrated distribution is used as a corrected image spatial frequency distribution function. Subsequently, a corrected image is calculated by performing inverse Fourier transform on the corrected image spatial frequency distribution function.

その結果、図５（ｃ）に示すような復元画像５８が算出される。復元画像５８における部品５の補正画像５９の辺５９ａは細くなり、ブレが小さくなる。そして、補正画像５９の場所を算出し易くなる為、部品５の位置を精度良く認識することができる。 As a result, a restored image 58 as shown in FIG. 5C is calculated. The side 59a of the corrected image 59 of the component 5 in the restored image 58 becomes thinner and blurring is reduced. Since the location of the corrected image 59 can be easily calculated, the position of the component 5 can be recognized with high accuracy.

ステップＳ６において、ワーク位置演算部４１は復元画像５８を用いて部品５の場所を算出する。まず、ワーク位置演算部４１は復元画像５８における補正画像５９の場所を演算する。次に、ワーク位置演算部４１は撮像時間５２ｃにおける撮像装置２０の場所を演算する。続いて、ワーク位置演算部４１は補正画像５９の場所のデータ及び撮像装置２０の場所のデータを用いて部品５の場所を演算する。 In step S 6, the work position calculation unit 41 calculates the location of the part 5 using the restored image 58. First, the workpiece position calculation unit 41 calculates the location of the corrected image 59 in the restored image 58. Next, the workpiece position calculation unit 41 calculates the location of the imaging device 20 at the imaging time 52c. Subsequently, the workpiece position calculation unit 41 calculates the location of the component 5 using the location data of the corrected image 59 and the location data of the imaging device 20.

図６はステップＳ７のワーク移動工程に対応する図である。図６（ａ）に示すように、ワーク位置演算部４１が部品５の場所を算出した後、ロボット制御部３７がロボット３を駆動して部品５を把持する。続いて、ロボット３は部品５を把持したままワーク収納装置４に移動することにより、部品５を移動する。その結果、図６（ｂ）に示すように、ワーク収納装置４に部品５が載置される。続いて、手部１６は指部１６ａを広げて部品５を離して、次に作業する場所へ移動して、部品のピッキング工程を終了する。 FIG. 6 is a diagram corresponding to the workpiece moving process in step S7. As shown in FIG. 6A, after the workpiece position calculation unit 41 calculates the location of the part 5, the robot control unit 37 drives the robot 3 to grip the part 5. Subsequently, the robot 3 moves the component 5 by moving to the work storage device 4 while holding the component 5. As a result, as shown in FIG. 6B, the component 5 is placed on the work storage device 4. Subsequently, the hand part 16 spreads the finger part 16a, releases the part 5, moves to the place where the next work is performed, and ends the part picking process.

上述したように、本実施形態によれば、以下の効果を有する。
（１）本実施形態によれば、ステップＳ３の撮像工程において、ロボット３が撮像装置２０を移動しながら、撮像装置２０が部品５を撮像している。このとき、撮像する画像５６にはブレが形成され易くなっている。ステップＳ２の撮像装置移動工程ではエンコーダ出力値を用いて姿勢演算部３８がロボット３の姿勢を検出している。そして、ステップＳ４の軌跡算出工程ではロボット３の姿勢が変化する情報を用いて軌跡演算部３９が部品５に対する撮像装置２０の移動軌跡を算出している。ステップＳ５の補正工程では移動軌跡から算出した点像分布関数５７を用いることにより撮像した画像５６の補正を行っている。従って、センサ等により撮像装置２０の位置を直接検出しなくてもサーボモータのエンコーダ出力値を用いて画像５６を補正することができる。 As described above, this embodiment has the following effects.
(1) According to the present embodiment, the imaging device 20 images the component 5 while the robot 3 moves the imaging device 20 in the imaging process of step S3. At this time, blurring is easily formed in the image 56 to be captured. In the imaging device moving step in step S2, the posture calculation unit 38 detects the posture of the robot 3 using the encoder output value. In the trajectory calculation step of step S4, the trajectory calculation unit 39 calculates the movement trajectory of the imaging device 20 with respect to the component 5 using information that changes the posture of the robot 3. In the correction step of step S5, the captured image 56 is corrected by using the point spread function 57 calculated from the movement locus. Therefore, the image 56 can be corrected using the encoder output value of the servo motor without directly detecting the position of the imaging device 20 by a sensor or the like.

（２）本実施形態によれば、ステップＳ２の撮像装置移動工程において、回転台９、第１関節１０、第２関節１２、第２腕１３、支持部関節１８の各エンコーダ出力値をメモリ２６に記憶している。そして、ステップＳ４の軌跡算出工程では各エンコーダ出力値を再生している。従って、撮像装置移動工程と軌跡算出工程とは並行せずに行うことができる。従って、軌跡算出工程におけるＣＰＵ２５の演算速度に影響されることなく、撮像装置移動工程ではロボット制御部３７が撮像装置２０を移動することができる。 (2) According to the present embodiment, the encoder 26 output values of the rotary base 9, the first joint 10, the second joint 12, the second arm 13, and the support joint 18 are stored in the memory 26 in the imaging device moving step of step S2. I remember it. Each encoder output value is reproduced in the trajectory calculation step in step S4. Therefore, the imaging device moving process and the trajectory calculating process can be performed in parallel. Therefore, the robot controller 37 can move the imaging device 20 in the imaging device moving step without being affected by the calculation speed of the CPU 25 in the trajectory calculation step.

（３）本実施形態によれば、撮像時間５２ｃの間においてロボット３は回転台９のみ移動するので複数の腕や関節を移動する場合に比べて、撮像装置２０が移動する軌跡を簡便に算出することができる。 (3) According to the present embodiment, since the robot 3 moves only on the turntable 9 during the imaging time 52c, the locus of movement of the imaging device 20 can be calculated more easily than when moving a plurality of arms and joints. can do.

（４）本実施形態によれば、部品５に対する撮像装置２０の移動軌跡を用いて点像分布関数５７を演算する為、精度良く点像分布関数５７を算出することができる。その結果、精度良く画像５６を補正することができる。 (4) According to the present embodiment, since the point spread function 57 is calculated using the movement locus of the imaging device 20 with respect to the component 5, the point spread function 57 can be calculated with high accuracy. As a result, the image 56 can be corrected with high accuracy.

（５）本実施形態によれば、ワーク位置演算部４１は、精度良く補正された補正画像５９を用いて部品５の場所を検出している。従って、ワーク位置演算部４１は部品５の場所を精度良く認識することができる。 (5) According to the present embodiment, the workpiece position calculation unit 41 detects the location of the component 5 using the corrected image 59 corrected with high accuracy. Therefore, the work position calculation unit 41 can recognize the location of the component 5 with high accuracy.

（６）本実施形態によれば、ワーク位置演算部４１が部品５の場所を精度良く認識するので、ロボット３は部品５を品質良く把持して移動することができる。 (6) According to the present embodiment, since the workpiece position calculation unit 41 recognizes the location of the component 5 with high accuracy, the robot 3 can grip and move the component 5 with high quality.

（７）本実施形態によれば、ロボット３が撮像装置２０を移動している間に撮像装置２０が撮像を行っている。従って、ロボット３が撮像装置２０を停止してから撮像装置２０が撮像する方法に比べて、短い時間で撮像装置２０の移動と撮像とを行うことができる。その結果、生産性良く部品５の場所を検出することができる。 (7) According to the present embodiment, the imaging device 20 is imaging while the robot 3 is moving the imaging device 20. Therefore, the movement and imaging of the imaging device 20 can be performed in a shorter time compared to the method in which the imaging device 20 captures images after the robot 3 stops the imaging device 20. As a result, the location of the part 5 can be detected with high productivity.

（８）本実施形態によれば、記憶開始時５３ａは撮像開始時５２ａより早く設定され、記憶時間５３ｃは撮像時間５２ｃより長く設定されている。従って、撮像開始時５２ａ及び撮像終了時５２ｂが変動するときにも撮像時間５２ｃのエンコーダ出力値を確実に記憶することができる。 (8) According to this embodiment, the storage start time 53a is set earlier than the imaging start time 52a, and the storage time 53c is set longer than the imaging time 52c. Therefore, the encoder output value of the imaging time 52c can be reliably stored even when the imaging start time 52a and the imaging end time 52b vary.

尚、本実施形態は上述した実施形態に限定されるものではなく、種々の変更や改良を加えることも可能である。変形例を以下に述べる。
（変形例１）
前記実施形態では部品５がベルトコンベア７ａ上に静止していた。そしてロボット３が撮像装置２０を移動して、撮像装置２０が部品５を撮像した。部品５と撮像装置２０とを相対移動する方法はこれに限らない。例えば、ロボット３と別の第２ロボットを用意する。そして、撮像装置２０が静止した状態で第２ロボットが部品５を移動しても良い。撮像装置２０の撮像範囲に第２ロボットが部品５を移動する。このとき、第２ロボットの姿勢を検出して、部品５の移動軌跡を算出する。そして、部品５の移動軌跡を用いて点像分布関数を演算し、点像分布関数を用いて画像のブレを補正することができる。 In addition, this embodiment is not limited to embodiment mentioned above, A various change and improvement can also be added. A modification will be described below.
(Modification 1)
In the embodiment, the component 5 is stationary on the belt conveyor 7a. Then, the robot 3 moves the imaging device 20 and the imaging device 20 images the component 5. The method of relatively moving the component 5 and the imaging device 20 is not limited to this. For example, a second robot different from the robot 3 is prepared. Then, the second robot may move the component 5 while the imaging device 20 is stationary. The second robot moves the component 5 to the imaging range of the imaging device 20. At this time, the movement locus of the component 5 is calculated by detecting the attitude of the second robot. Then, it is possible to calculate a point spread function using the movement trajectory of the component 5 and to correct image blur using the point spread function.

（変形例２）
前記実施形態ではステップＳ３の撮像工程においてロボット制御部３７がエンコーダ出力値をメモリ２６に記憶して、ステップＳ４の軌跡算出工程において姿勢演算部３８がメモリ２６から再生した。ＣＰＵ２５の演算速度が速い場合には、メモリ２６に記憶して再生せずに、直接撮像装置２０の移動軌跡を演算しても良い。記憶と再生とのステップを省略できるので、生産性良く移動軌跡を算出することができる。 (Modification 2)
In the embodiment, the robot control unit 37 stores the encoder output value in the memory 26 in the imaging step of step S3, and the posture calculation unit 38 reproduces the memory 26 in the locus calculation step of step S4. When the calculation speed of the CPU 25 is fast, the movement trajectory of the imaging device 20 may be directly calculated without being stored in the memory 26 and reproduced. Since the steps of storing and reproducing can be omitted, the movement trajectory can be calculated with high productivity.

（変形例３）
前記実施形態ではロボット３に垂直多関節ロボットを採用したが、他の種類のロボットを採用しても良い。例えば、ロボット３に水平多関節ロボット、直交ロボット、パラレルリンクロボット等各種の形態のロボットを採用することができる。 (Modification 3)
In the above embodiment, a vertical articulated robot is used as the robot 3, but other types of robots may be used. For example, various types of robots such as a horizontal articulated robot, an orthogonal robot, and a parallel link robot can be adopted as the robot 3.

（変形例４）
前記実施形態ではステップＳ４の軌跡算出工程、ステップＳ５の補正工程、ステップＳ６の位置認識工程はステップＳ２の撮像装置移動工程と並行して行われた。ステップＳ４、ステップＳ５、ステップＳ６はステップＳ２の後に行われても良い。ステップＳ２で手部１６が移動する距離や移動にかかる時間に合わせて設定しても良い。 (Modification 4)
In the above-described embodiment, the trajectory calculation process in step S4, the correction process in step S5, and the position recognition process in step S6 are performed in parallel with the imaging apparatus moving process in step S2. Step S4, step S5, and step S6 may be performed after step S2. You may set according to the distance which the hand part 16 moves by step S2, and the time concerning movement.

（変形例５）
前記実施形態では撮像時間５２ｃの間に回転台９のみ作動させたが、他の関節や腕等を作動させても良い。撮像装置２０の移動軌跡が算出可能であれば、点像分布関数を演算することができる。 (Modification 5)
In the above-described embodiment, only the turntable 9 is operated during the imaging time 52c, but other joints, arms, and the like may be operated. If the movement trajectory of the imaging device 20 can be calculated, the point spread function can be calculated.

（変形例６）
前記実施形態ではロボット３の腕や関節に配置されたサーボモータのエンコーダを用いてロボット３の姿勢を検出したが、ロボット３の姿勢を検出する方法はこれに限定されない。例えば、サーボモータの代りにステップモータを配置しても良い。そして、ステップモータを制御する制御信号を用いてロボット３の姿勢を演算しても良い。また、ステップモータとエンコーダとを用いても良い。ロボット３を制御するために腕や関節に位置検出センサまたは角度検出センサを配置しても良い。 (Modification 6)
In the above-described embodiment, the posture of the robot 3 is detected using the encoder of the servo motor arranged on the arm or joint of the robot 3, but the method of detecting the posture of the robot 3 is not limited to this. For example, a step motor may be arranged instead of the servo motor. And you may calculate the attitude | position of the robot 3 using the control signal which controls a step motor. Further, a step motor and an encoder may be used. In order to control the robot 3, a position detection sensor or an angle detection sensor may be arranged on the arm or joint.

（変形例７）
前記実施形態では撮像時間５２ｃの間に回転台９を作動させたが、作動するロボットの種類に合わせて作動パターンを変えても良い。例えば、直交ロボットでは１軸のみ駆動しても良い。他にも、１方向に伸縮可能な腕を備えるロボットの場合には、その腕を伸縮させて撮像装置を移動させても良い。 (Modification 7)
In the above embodiment, the turntable 9 is operated during the imaging time 52c. However, the operation pattern may be changed according to the type of robot to be operated. For example, in an orthogonal robot, only one axis may be driven. In addition, in the case of a robot having an arm that can be expanded and contracted in one direction, the imaging apparatus may be moved by expanding and contracting the arm.

ピッキング装置の構成を示す概略斜視図。The schematic perspective view which shows the structure of a picking apparatus. ピッキング装置の電気制御ブロック図。The electric control block diagram of a picking apparatus. 部品のピッキング工程を示すフローチャート。The flowchart which shows the picking process of components. ピッキング作業の作業方法を説明するための模式図。The schematic diagram for demonstrating the working method of picking work. ピッキング作業の作業方法を説明するための模式図。The schematic diagram for demonstrating the working method of picking work. ピッキング作業の作業方法を説明するための模式図。The schematic diagram for demonstrating the working method of picking work.

３…可動部としてのロボット、５…ワークとしての部品、９…可動要素としての回転台、１０…可動要素としての第１関節、１１…可動要素としての第１腕、１２…可動要素としての第２関節、１３…可動要素としての第２腕、１４…可動要素としての第３関節、１５…可動要素としての第３腕、１６…可動要素及び把持部としての手部、１７…可動要素としての第１支持腕、１８…可動要素としての支持部関節、１９…可動要素としての第２支持腕、２０…撮像装置、２６…記憶部としてのメモリ、３８…可動部姿勢検出部としての姿勢演算部、３９…軌跡演算部、４０…補正部としての画像補正演算部、４１…位置検出部としてのワーク位置演算部、５６…画像、５７…点像分布関数、５９…補正画像。 DESCRIPTION OF SYMBOLS 3 ... Robot as a movable part, 5 ... Parts as a workpiece, 9 ... Turntable as a movable element, 10 ... First joint as a movable element, 11 ... First arm as a movable element, 12 ... As a movable element 2nd joint, 13 ... 2nd arm as movable element, 14 ... 3rd joint as movable element, 15 ... 3rd arm as movable element, 16 ... Hand part as movable element and gripping part, 17 ... Movable element First support arm as 18, Support joint as a movable element, 19 Second support arm as a movable element, 20 Imaging device, 26 Memory as storage unit, 38 as movable unit posture detection unit Posture calculation unit, 39... Locus calculation unit, 40... Image correction calculation unit as a correction unit, 41... Work position calculation unit as a position detection unit, 56.

Claims

An imaging method for imaging a workpiece using an imaging device,
A moving step of moving at least one of the imaging device and the workpiece using a deformable movable portion;
An imaging step of imaging the workpiece performed in parallel with the moving step;
A trajectory calculating step for calculating a trajectory in which the imaging device and the workpiece move relative to each other;
A correction step of correcting an image captured using the information of the movement trajectory,
In the moving step, the posture of the movable part is detected, and in the locus calculating step, the movement locus of the imaging device with respect to the workpiece is calculated using posture information that is information on the posture of the movable part. Imaging method.

The imaging method according to claim 1,
In the moving step, the posture information is stored in a storage unit,
In the trajectory calculation step, the posture information stored in the storage unit is reproduced to calculate a movement trajectory of the imaging device.

The imaging method according to claim 2,
An imaging method, wherein when the imaging device captures an image in the moving step, the movable unit moves the imaging device in a direction orthogonal to an optical axis direction of the imaging device.

The imaging method according to claim 3,
In the correction step, a point spread function is calculated using information on the movement trajectory of the imaging device with respect to the workpiece, a restoration filter is calculated using the point spread function, and the image is obtained using the restoration filter. An imaging method characterized by correcting.

A picking method using the imaging method according to claim 1,
A position recognition step of detecting the location of the workpiece using the corrected image corrected in the correction step;
A picking method comprising: a work moving step of gripping and moving the work.

A picking device that grips and moves a workpiece,
A gripping part for gripping the workpiece;
An imaging device for imaging the workpiece;
A movable part that moves at least one of the workpiece and the imaging device;
A movable part attitude detection unit that detects the attitude of the movable part and outputs attitude information indicating the attitude of the movable part;
A trajectory calculation unit that calculates a movement trajectory in which the imaging device and the workpiece move relative to each other using the posture information;
A correction unit that forms a corrected image obtained by correcting the image by the imaging device using the information of the movement locus;
A position detection unit that detects the location of the workpiece using the corrected image,
The trajectory calculation unit calculates the movement trajectory using the posture information.

The picking device according to claim 6,
A storage unit that stores the posture information detected by the movable unit posture detection unit;
The trajectory calculation unit reproduces and inputs the posture information.