JP7304992B2 - code recognizer - Google Patents

code recognizer Download PDF

Info

Publication number
JP7304992B2
JP7304992B2 JP2022032739A JP2022032739A JP7304992B2 JP 7304992 B2 JP7304992 B2 JP 7304992B2 JP 2022032739 A JP2022032739 A JP 2022032739A JP 2022032739 A JP2022032739 A JP 2022032739A JP 7304992 B2 JP7304992 B2 JP 7304992B2
Authority
JP
Japan
Prior art keywords
barcode
area
code
information
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022032739A
Other languages
Japanese (ja)
Other versions
JP2022071136A (en
JP2022071136A5 (en
Inventor
和樹 平
徳政 有賀
真明 安永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba TEC Corp
Original Assignee
Toshiba TEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2020146696A external-priority patent/JP7036874B2/en
Application filed by Toshiba TEC Corp filed Critical Toshiba TEC Corp
Priority to JP2022032739A priority Critical patent/JP7304992B2/en
Publication of JP2022071136A publication Critical patent/JP2022071136A/en
Publication of JP2022071136A5 publication Critical patent/JP2022071136A5/ja
Application granted granted Critical
Publication of JP7304992B2 publication Critical patent/JP7304992B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明の実施形態は、コード認識装置に関する。 Embodiments of the present invention relate to chord recognition devices.

倉庫や店舗などの空間内、例えば商品棚などに広範囲に複数配置されたバーコードから、効率良くバーコード情報を読み取ることが求められている。通常、複数箇所に配置されたバーコードからバーコード情報を読み取る場合には、個々のバーコードに対してバーコード認識装置の読取部をかざす必要がある。このため、多くのバーコード情報を全て読み取るのに時間が掛かってしまう。 2. Description of the Related Art There is a demand for efficient reading of bar code information from a plurality of bar codes arranged over a wide range in spaces such as warehouses and stores, such as product shelves. Normally, when reading barcode information from barcodes arranged at a plurality of locations, it is necessary to hold the reading unit of the barcode recognition device over each barcode. Therefore, it takes a long time to read all the bar code information.

一方、複数のバーコードが含まれる領域を撮影して、撮影した画像から複数のバーコードのバーコード情報を一括して読取る方法もある。この方法の場合、バーコードから離れた場所から撮影し、バーコードを認識可能な画像を得る必要があるため、例えば2次元撮像素子を用いた読取部の場合、受光素子を高解像度、かつ大面積にする必要があった。しかし、十分な解像度を有していない読取部を設けたバーコード認識装置では、撮影した画像中のバーコードの品質が悪く、バーコード情報を認識することができない場合があった。また、バーコードから離れた位置から撮影をするため、撮影時の状況によっては品質の良い画像が撮影されず、画像中からバーコード情報を認識することができない場合があった。 On the other hand, there is also a method of photographing an area including a plurality of barcodes and collectively reading the barcode information of the plurality of barcodes from the photographed image. In the case of this method, it is necessary to capture an image from a distance from the barcode and obtain an image that allows the barcode to be recognized. I had to make the area. However, with a barcode recognition device provided with a reading unit that does not have sufficient resolution, there are cases where the quality of the barcode in the captured image is poor and the barcode information cannot be recognized. In addition, since the image is taken from a position distant from the barcode, a good quality image may not be taken depending on the situation at the time of shooting, and the barcode information may not be recognized from the image.

特開平9-022437号公報JP-A-9-022437

本発明が解決しようとする課題は、複数箇所に配置されたバーコードを離れた位置から検知し、効率良くバーコード情報を読み取ることが可能なコード認識装置を提供することである。 The problem to be solved by the present invention is to provide a code recognition device capable of detecting barcodes arranged at a plurality of locations from distant positions and reading barcode information efficiently.

実施形態によれば、コード認識装置は、読取手段、領域検出手段、第1抽出手段、第2抽出手段、位置検出手段とを有する。読取手段は、パン・チルト機能を備えたカメラにより、基準面に配置されたコード画像を撮影する。領域検出手段は、複数の異なる位置において前記読取手段によりそれぞれ撮影された複数のコード画像から前記コード画像に含まれるコード領域と文字領域を検出する。第1抽出手段は、前記コード領域から前記コード画像が表す第1コード情報を抽出する。第2抽出手段は、前記文字領域から前記コード画像が表す第2コード情報を抽出する。位置検出手段は、前記複数のコード画像から検出された前記コード領域の位置と、前記複数のコード画像のそれぞれに対応する前記パン・チルト機能により調整される前記カメラの向きを示すパン・チルト情報をもとに、前記コード画像に相当するコードの3次元空間における前記基準面における前記コード領域の位置を検出する。 According to an embodiment, the code recognition device comprises reading means, area detection means, first extraction means, second extraction means, and position detection means. The reading means captures the code image placed on the reference plane with a camera having a pan/tilt function. The area detection means detects code areas and character areas included in the code images from the plurality of code images captured by the reading means at a plurality of different positions . The first extraction means extracts first code information represented by the code image from the code area. A second extraction means extracts second code information represented by the code image from the character area. Position detection means provides pan/tilt information indicating the position of the code area detected from the plurality of code images and the direction of the camera adjusted by the pan/tilt function corresponding to each of the plurality of code images. , the position of the code area on the reference plane in the three-dimensional space of the code corresponding to the code image is detected.

第1実施形態におけるバーコード認識装置の外観図。1 is an external view of a barcode recognition device according to the first embodiment; FIG. 第1実施形態におけるバーコード認識装置のデバイス構成を示すブロック図。FIG. 2 is a block diagram showing the device configuration of the barcode recognition device in the first embodiment; FIG. 第1実施形態におけるバーコード読取部による読取範囲(被撮影領域)を示す図。FIG. 4 is a diagram showing a reading range (captured area) by a barcode reading unit in the first embodiment; 第1実施形態におけるバーコード読取部の詳細構成を模式的に示した図。FIG. 2 is a diagram schematically showing the detailed configuration of a barcode reading unit according to the first embodiment; 第1実施形態における撮影画像に含まれるバーコードに相当するバーコード画像を探索するための方法を模式的に示した図。FIG. 4 is a diagram schematically showing a method for searching for a barcode image corresponding to a barcode included in a captured image according to the first embodiment; 第1実施形態のバーコード認識装置によりバーコードを読取る第1の方法について示すフローチャート。4 is a flow chart showing a first method of reading a barcode with the barcode recognition device of the first embodiment; 第1実施形態のバーコード認識装置によりバーコードを読取る第2の方法について示すフローチャート。6 is a flow chart showing a second method of reading a barcode with the barcode recognition device of the first embodiment; 第1実施形態のバーコード認識装置によりバーコードを読取る第3の方法について示すフローチャート。9 is a flowchart showing a third method of reading barcodes by the barcode recognition device of the first embodiment; 第1実施形態のバーコード認識装置によりバーコードを読取る第4の方法について示すフローチャート。9 is a flowchart showing a fourth method of reading a barcode with the barcode recognition device of the first embodiment; 第1実施形態におけるバーコード画像の一例を示す図。The figure which shows an example of the barcode image in 1st Embodiment. 第1実施形態における撮影画像に含まれるラベルに相当するラベル画像を探索するための方法を模式的に示した図。FIG. 4 is a diagram schematically showing a method for searching for a label image corresponding to a label included in a captured image according to the first embodiment; 第1実施形態のバーコード認識装置によりバーコードを読取る第5の方法について示すフローチャート。9 is a flowchart showing a fifth method for reading a barcode with the barcode recognition device of the first embodiment; 第2実施形態におけるバーコード認識装置のデバイス構成を示すブロック図。FIG. 10 is a block diagram showing the device configuration of a barcode recognition device according to the second embodiment; 第2実施形態におけるバーコード領域や文字領域が含まれる商品棚などを撮影するための撮影装置の外観図を示す図。FIG. 11 is a view showing an external view of a photographing device for photographing a product shelf including a bar code area and a character area according to the second embodiment; 第2実施形態におけるバーコードが配置されている棚基準面と撮影装置及び撮影パラメータから得られる撮影時の視野基準面との位置関係を示した図。FIG. 11 is a diagram showing the positional relationship between the shelf reference plane on which barcodes are arranged and the field of view reference plane at the time of photographing obtained from the photographing device and photographing parameters in the second embodiment; 第2実施形態における棚基準面上にバーコードを配置した場合、視野範囲における図15に示した各パラメータとの関係を示した図。FIG. 16 is a diagram showing the relationship between each parameter shown in FIG. 15 in the field of view range when barcodes are arranged on the shelf reference plane in the second embodiment; 図15及び図16に示す関係を更に一般的に表した図。FIG. 17 is a more general representation of the relationships shown in FIGS. 15 and 16; 第2実施形態のバーコード認識装置によりバーコードを読取る方法について示すフローチャート。9 is a flowchart showing a method of reading a barcode with the barcode recognition device of the second embodiment; 第2実施形態のバーコード認識装置によりバーコードを読取る第1の変形例について示すフローチャート。10 is a flowchart showing a first modified example of reading barcodes by the barcode recognition device of the second embodiment; 第2実施形態のバーコード認識装置によりバーコードを読取る第2の変形例について示す図。The figure which shows the 2nd modification which reads a barcode with the barcode recognition apparatus of 2nd Embodiment.

以下、本実施形態について、図面を参照しながら説明する。
(第1実施形態)
図1は、第1実施形態におけるバーコード認識装置1の外観図である。図1に示すバーコード認識装置1は、使用者が手に持って操作することが可能な、所謂ハンドヘルド型端末である。バーコード認識装置1は、倉庫や店舗などの空間内、例えば商品棚や商品に対して付されたコードを光学的に検出して、コードが表すコード情報を読取る装置である。第1実施形態では、例えばコードとしてバーコードを対象とし、バーコードが表すバーコード情報を読取るものとして説明する。一般に、バーコードは、縞模様状の複数の太さの異なる線から構成される縞状パターン(バーコードパターン)と、バーコードパターンが表すバーコード情報を示す文字列(数字列)が含まれる。なお、バーコード認識装置1は、バーコードに限らず、2次元コードや幾何学図形の組み合わせなどによって表される各種コードを対象として認識をするようにしても良い。
Hereinafter, this embodiment will be described with reference to the drawings.
(First embodiment)
FIG. 1 is an external view of a barcode recognition device 1 according to the first embodiment. The barcode recognition device 1 shown in FIG. 1 is a so-called handheld terminal that can be held and operated by a user. The barcode recognition device 1 is a device that optically detects a code attached to a product shelf or product in a space such as a warehouse or a store, and reads code information represented by the code. In the first embodiment, for example, barcodes are used as codes, and barcode information represented by the barcodes is read. In general, a barcode includes a striped pattern (barcode pattern) composed of a plurality of striped lines of different thicknesses, and a character string (number string) indicating the barcode information represented by the barcode pattern. . The barcode recognition device 1 may recognize not only barcodes but also various codes represented by combinations of two-dimensional codes and geometric figures.

バーコード認識装置1には、バーコードを撮影するためのバーコード読取部2、バーコードの読取の状態や操作情報、読取結果などを表示する表示部3、操作命令などを入力する入力部4を備えている。操作者は、バーコード認識装置1の筐体を保持し、バーコード読取部2を、読取の対象とするバーコードを含む撮影範囲(被撮影領域)に向けて、入力部4に対する操作により撮影(バーコードの読取)を指示することができる。バーコード認識装置1は、例えば商品棚などの複数の商品が陳列され、それぞれの商品の陳列位置に付された複数のバーコードを撮影範囲とすることで、複数のバーコードを一括して読み取ることができる。 The barcode recognition device 1 includes a barcode reading unit 2 for capturing a barcode, a display unit 3 for displaying the barcode reading status, operation information, reading results, etc., and an input unit 4 for inputting operation commands. It has The operator holds the housing of the barcode recognition device 1, directs the barcode reading unit 2 toward the imaging range (imaging area) including the barcode to be read, and operates the input unit 4 to perform imaging. (read bar code) can be instructed. For example, a plurality of products are displayed on a product shelf, and the barcode recognition device 1 reads the plurality of barcodes collectively by taking the plurality of barcodes attached to the display positions of the respective products as an imaging range. be able to.

図2は、第1実施形態におけるバーコード認識装置1のデバイス構成を示すブロック図である。図2に示すように、バーコード読取部2、表示部3、入力部4は、データバス10を介して互いに接続される。更にプログラムやデータを記録するROM5、一時的に情報を記録するRAM7、中央処理プロセッサでありプログラムを演算処理するCPU6、装置外部との通信を行うための通信部8、装置外部との接続インタフェース(I/F)となるI/F部9がデータバス10を介して互いに接続される。ROM5に記録されるプログラムには、バーコード読取部2により撮影された画像からバーコード情報を読み取るバーコード認識プログラムが含まれる。CPU6は、バーコード認識プログラムを実行することにより、バーコード読取部2により撮影された画像からバーコードに含まれるバーコード領域と文字領域を検出する領域検出機能、バーコード領域からバーコード情報を抽出する第1抽出機能、文字領域からバーコード情報を抽出する第2抽出機能を実現する。 FIG. 2 is a block diagram showing the device configuration of the barcode recognition device 1 according to the first embodiment. As shown in FIG. 2, the bar code reading unit 2, display unit 3, and input unit 4 are connected to each other via a data bus 10. FIG. Furthermore, ROM 5 for recording programs and data, RAM 7 for temporarily recording information, CPU 6 for processing programs as a central processing processor, communication unit 8 for communicating with the outside of the device, connection interface with the outside of the device ( I/F units 9 are connected to each other via a data bus 10 . Programs recorded in the ROM 5 include a barcode recognition program for reading barcode information from an image captured by the barcode reading unit 2 . By executing a barcode recognition program, the CPU 6 has an area detection function for detecting a barcode area and a character area included in the barcode from the image captured by the barcode reading unit 2, and extracts barcode information from the barcode area. A first extraction function for extracting and a second extraction function for extracting barcode information from a character area are realized.

図3は、第1実施形態におけるバーコード認識装置1を用いてバーコードを読み取る際のバーコード読取部2による読取範囲(被撮影領域11)を示す図である。バーコード認識装置1は、空間内に配置されたバーコード12から離れた位置で、バーコード読取部2の撮影方向をバーコード12に向けてバーコード読取を実行する。バーコード読取部2による被撮影領域11には、空間内に配置された複数のバーコード12を含めることができる。被撮影領域11の範囲を表す撮影領域境界13は、使用者が容易に判別できるよう、バーコード認識装置1から照射されるレーザなどのマーカーによって明示的に示される。 FIG. 3 is a diagram showing a reading range (photographed area 11) by the barcode reading section 2 when reading a barcode using the barcode recognition device 1 according to the first embodiment. The barcode recognition device 1 performs barcode reading by directing the photographing direction of the barcode reading unit 2 to the barcode 12 at a position away from the barcode 12 arranged in the space. A region 11 to be imaged by the barcode reading unit 2 can include a plurality of barcodes 12 arranged in space. A photographing area boundary 13 representing the range of the photographing area 11 is clearly indicated by a marker such as a laser emitted from the barcode recognition device 1 so that the user can easily identify it.

図4は、第1実施形態におけるバーコード読取部2の詳細構成を模式的に示した図である。バーコード読取部2は、例えば撮影を行うための撮影レンズ16と2次元イメージセンサ15、照明用LED光源17、レーザポインタ19を有している。照明用LED光源17は、被撮影領域11に対して撮影に必要十分な照度で照明するため、例えば近赤外光(IR光)18を出力する。レーザポインタ19は、赤色など可視レーザ光20をバーコード読取部2による撮影方向に照射し、被撮影領域11の範囲を使用者が把握できるように撮影領域境界線13を表示する。 FIG. 4 is a diagram schematically showing the detailed configuration of the barcode reading section 2 in the first embodiment. The bar code reader 2 has, for example, a photographing lens 16 for photographing, a two-dimensional image sensor 15, an illumination LED light source 17, and a laser pointer 19. FIG. The illumination LED light source 17 outputs near-infrared light (IR light) 18, for example, in order to illuminate the area 11 to be imaged with sufficient illuminance for imaging. A laser pointer 19 irradiates a visible laser beam 20 such as red in the imaging direction of the bar code reader 2 and displays an imaging area boundary line 13 so that the user can grasp the range of the imaging area 11 .

図5(A)(B)は、第1実施形態におけるバーコード読取部2により撮影された撮影画像21に含まれるバーコード12に相当するバーコード画像12a(コード画像)を探索するための方法を模式的に示した図である。撮影画像21は、バーコード12に相当するバーコード画像12aを取得可能な解像度、例えば約200dpi以上で撮影される。バーコード画像12aは、縞模様状の複数の太さの異なる線から構成される縞状パターン(バーコードパターン)を含む。 5A and 5B show a method for searching for a barcode image 12a (code image) corresponding to the barcode 12 included in the captured image 21 captured by the barcode reading unit 2 in the first embodiment. It is a diagram schematically showing the. The captured image 21 is captured at a resolution at which the barcode image 12a corresponding to the barcode 12 can be obtained, for example, at approximately 200 dpi or higher. The barcode image 12a includes a striped pattern (barcode pattern) composed of a plurality of striped lines with different thicknesses.

CPU6は、図5(A)に示すように、撮影画像21に対して小面積となる探索領域24を設定し、撮影画像21を水平方向24H及び垂直方向24Vに順次走査する。ここで、バーコードは、例えばEAN(European Article Number)コードやJAN(Japanese Article Number)コードであり、1次元バーコード(バーコードパターン)と、1次元バーコードが表す数字列(デコード情報)が併記されているものとする。数字列には、正誤確認を行うチェックサムが含まれているものとする。 As shown in FIG. 5A, the CPU 6 sets a search area 24 having a small area in the photographed image 21, and sequentially scans the photographed image 21 in the horizontal direction 24H and the vertical direction 24V. Here, the barcode is, for example, an EAN (European Article Number) code or a JAN (Japanese Article Number) code. shall be written together. It is assumed that the numeric string contains a checksum for correctness confirmation.

CPU6は、探索領域24により走査することで、図5(B)に示すように、バーコード画像12aに含まれる1次元バーコード(バーコードパターン)に相当するバーコード領域22と、数字列に相当する文字領域23のそれぞれの候補を抽出する。バーコード領域22と文字領域23の候補を検出する検出機能(検出器)は、バーコード、文字の特徴的なパターンを記述する特徴点を選択し、機械学習の技術を利用して教師データと反教師データの学習により作成した辞書と識別器から構成される。なお、バーコード領域22の候補を検出する検出機能(検出器)は、パターンの垂直成分と水平成分の周期に着目し、学習を行わないルールベースで検出する構成することも可能である。探索領域24による走査において、バーコード領域22の候補あるいは文字領域23の候補として抽出された領域は、バーコードパターン及び数字列方向を考慮しながら結合され、バーコード領域22の候補、文字領域23の候補として、撮影画像21内における位置情報(座標位置)と共に抽出される。 By scanning the search area 24, the CPU 6 finds the barcode area 22 corresponding to the one-dimensional barcode (barcode pattern) included in the barcode image 12a and the numeric string as shown in FIG. 5(B). Each candidate for the corresponding character area 23 is extracted. A detection function (detector) that detects candidates for the barcode area 22 and the character area 23 selects feature points that describe the characteristic patterns of the barcode and characters, and uses machine learning technology to detect them as teacher data. It consists of a dictionary created by learning anti-supervised data and a discriminator. Note that the detection function (detector) for detecting candidates for the barcode area 22 can also be configured to perform detection based on a rule that does not involve learning, focusing on the period of the vertical and horizontal components of the pattern. In scanning by the search area 24, areas extracted as candidates for the barcode area 22 or candidates for the character area 23 are combined while considering the barcode pattern and the direction of the number string, and the candidate for the barcode area 22 and the character area 23 are combined. are extracted together with position information (coordinate position) in the captured image 21 as a candidate for .

次に、第1実施形態におけるバーコード認識装置1の動作について、図6、図7、図8、図9に示すフローチャートを参照しながら説明する。
図6は、第1実施形態のバーコード認識装置1によりバーコードを読取る第1の方法について示すフローチャートである。
Next, the operation of the barcode recognition device 1 according to the first embodiment will be described with reference to the flow charts shown in FIGS. 6, 7, 8 and 9. FIG.
FIG. 6 is a flow chart showing a first method of reading a barcode with the barcode recognition device 1 of the first embodiment.

CPU6は、利用者による操作に応じて、バーコード読取部2により被撮影領域11の撮影を実行させる(ActA1)。CPU6は、バーコード読取部2の撮影により、図5に示すような撮影画像21を取得し、バーコード領域22の探索を行う(ActA2)。 The CPU 6 causes the barcode reading section 2 to take an image of the area 11 to be imaged according to the user's operation (Act A1). The CPU 6 acquires a photographed image 21 as shown in FIG. 5 by photographing with the barcode reading unit 2, and searches for the barcode area 22 (Act A2).

次に、CPU6は、バーコード領域22の候補(バーコード候補領域)として抽出された領域について、更に最近傍探索などにより詳細探索を行うことでバーコード領域22を矩形画像として切出す(ActA3)。なお、撮影画像21が斜めから撮影されるなどしてバーコード領域22が幾何学的に歪んでいる場合は、射影変換などによる切出し領域歪補正を行うようにしても良い(ActA4)。その後、CPU6は、バーコード領域22に含まれるバーコードパターンについてデコード処理を行う(ActA5)。ここで、所定のバーコード規約に従いデコードできた場合は、CPU6は、チェックサムの確認後に(ActA6、OK)、デコード情報(バーコード情報)をバーコードの位置情報と共に出力する(ActA7)。 Next, the CPU 6 cuts out the barcode area 22 as a rectangular image by further performing a detailed search such as a nearest neighbor search on the area extracted as a candidate for the barcode area 22 (barcode candidate area) (Act A3). . If the bar code area 22 is geometrically distorted because the captured image 21 is captured obliquely, the cropped area distortion correction may be performed by projective transformation or the like (Act A4). After that, the CPU 6 decodes the barcode pattern contained in the barcode area 22 (Act A5). Here, if the barcode can be decoded according to the predetermined barcode rule, the CPU 6 confirms the checksum (Act A6, OK), and then outputs the decode information (barcode information) together with the barcode position information (Act A7).

一方、バーコードパターンについてデコード処理において、デコードに失敗した場合は(ActA6、NG)、CPU6は、バーコード領域22の周辺近傍に存在する近傍文字領域候補を探索し(ActA8)、文字領域23の候補(文字候補領域)として切出す(ActA9)。なお、CPU6は、バーコード領域22の歪補正と同様に、必要に応じて文字候補領域について幾何学的な歪を補正するための切出し領域歪補正処理を行うようにしても良い(ActA10)。 On the other hand, in the decoding process for the barcode pattern, if the decoding fails (Act A6, NG), the CPU 6 searches for nearby character area candidates that exist in the vicinity of the barcode area 22 (Act A8). It is extracted as a candidate (character candidate area) (Act A9). It should be noted that the CPU 6 may, if necessary, perform cut-out area distortion correction processing for correcting geometric distortion in the character candidate area (Act A10), similarly to the distortion correction of the barcode area 22 .

CPU6は、文字領域候補からバーコードパターンを除去する処理をした後、OCR処理を実行して文字領域候補内の文字列を認識する(ActA10)。すなわち、バーコード情報を表す数字列の取得を試みる。CPU6は、OCR処理により得られた数字列について、バーコードパターンについてのデコードと同様にチェックサムを行った結果、バーコード規約を満たす場合は(ActA11、OK)、得られた数字列をバーコードのデコード情報(バーコード情報)として位置情報と共に出力する(ActA7)。なお、チェックサムを行った結果、デコード失敗と判別される場合(ActA11、NG)、CPU6は、リードエラー処理を実行する(ActA12)。 After removing the barcode pattern from the character area candidate, the CPU 6 executes OCR processing to recognize the character string in the character area candidate (Act A10). That is, an attempt is made to obtain a numeric string representing barcode information. The CPU 6 performs checksum on the numeric string obtained by the OCR process in the same manner as the decoding of the barcode pattern. (Act A7). When it is determined that decoding has failed as a result of the checksum (Act A11, NG), the CPU 6 executes read error processing (Act A12).

CPU6は、撮影画像21において、複数のバーコード画像12aが探索された場合、各バーコード画像12aに対して前述した処理(ActA2~A7)を繰り返して実行する。これにより、バーコード認識装置1は、バーコード読取部2により1度撮影した撮影画像21から、一括して複数のバーコード12からバーコード情報を読取ることができる。 When a plurality of barcode images 12a are found in the photographed image 21, the CPU 6 repeatedly executes the above-described processing (Acts A2 to A7) for each barcode image 12a. As a result, the barcode recognition device 1 can collectively read the barcode information from the plurality of barcodes 12 from the photographed image 21 once photographed by the barcode reading unit 2 .

以上の処理を行うことで、例えば、図10(A)に示すように、バーコード領域22のバーコードパターンが鮮明である場合には、バーコードパターンに対するデコード処理によってバーコード情報を出力することができる。一方、図10(B)に示すように、バーコード領域22のバーコードパターンがデコード処理に不十分な解像度や鮮明度であったとしても、文字領域23を対象としたOCR処理によってバーコード情報を正確に取得することが可能となる。一般に、バーコードのデコードに必要な解像度に対し、数字列のOCRに必要な解像度は低くても良い場合が多い。このため、デコードができないような解像度や鮮明度によりバーコード12が撮影された場合、例えばバーコードまでの距離が遠い位置において被撮影領域11の撮影がされた場合であっても、正しいバーコード情報を取得することが可能となる。あるいは、バーコード読取部2に高解像度、かつ大面積のイメージセンサ15が搭載されていなくても、バーコード12の読取が可能となるため、バーコード認識装置1の低コスト化が可能となる。 By performing the above processing, for example, as shown in FIG. 10A, when the barcode pattern in the barcode area 22 is clear, the barcode information can be output by decoding the barcode pattern. can be done. On the other hand, as shown in FIG. 10(B), even if the barcode pattern in the barcode area 22 has insufficient resolution and definition for decoding, OCR processing targeting the character area 23 can generate barcode information. can be obtained accurately. In general, in many cases, the resolution required for OCR of numeric strings may be lower than the resolution required for decoding barcodes. Therefore, even if the barcode 12 is photographed with a resolution or sharpness that cannot be decoded, for example, even if the photographed area 11 is photographed at a position far from the barcode, the correct barcode can be obtained. Information can be obtained. Alternatively, since the barcode 12 can be read even if the barcode reading unit 2 is not equipped with the high-resolution and large-area image sensor 15, the cost of the barcode recognition device 1 can be reduced. .

こうして、第1実施形態の第1の方法では、バーコード領域22の周辺近傍に配置された、バーコード情報と等価な情報を表す数字列(文字列)をOCR処理によって読取ることにより、バーコード領域22からデコード情報を取得できなかった場合に補完的に利用することができる。これにより、複数箇所に配置されたバーコードを離れた位置から検知し、効率良くバーコード情報を読み取ることが可能となる。第1実施形態では、以下に説明する第2~第4の方法によって同様にしてバーコード情報を読取ることができる。 In this way, in the first method of the first embodiment, a numeric string (character string) representing information equivalent to the barcode information arranged near the periphery of the barcode area 22 is read by OCR processing, whereby the barcode is read. It can be used complementarily when the decode information cannot be acquired from the area 22 . As a result, it is possible to detect barcodes arranged at a plurality of locations from distant positions and read barcode information efficiently. In the first embodiment, bar code information can be read in the same manner by the second to fourth methods described below.

図7は、第1実施形態のバーコード認識装置1によりバーコードを読取る第2の方法について示すフローチャートである。なお、第2の方法については、図6に示す第1の方法と異なる処理について説明する。
第1の方法では、バーコードパターン(バーコード領域22)のデコード処理に失敗した場合に、バーコード領域22の周辺近傍に存在する近傍文字領域候補を探索している。第2の方法では、バーコード領域22の候補(バーコード候補領域)を切り出す際に(ActB3)、バーコード領域22の周辺近傍に存在する近傍文字領域探索を実行し(ActB3a)、文字領域候補を含まない領域をバーコード領域22として確定して切出す処理を行う。その際、CPU6は、検出した文字候補領域を示す位置(座標)/サイズ情報をRAM7(メモリバッファ)へ一時的に記録しておく。
FIG. 7 is a flow chart showing a second method of reading barcodes by the barcode recognition device 1 of the first embodiment. As for the second method, processing different from that of the first method shown in FIG. 6 will be described.
In the first method, when the decoding process of the barcode pattern (barcode area 22) fails, nearby character area candidates existing near the periphery of the barcode area 22 are searched. In the second method, when a candidate for the barcode area 22 (barcode candidate area) is cut out (Act B3), a nearby character area search is performed near the periphery of the barcode area 22 (Act B3a), and a character area candidate is extracted. is determined as the barcode area 22 and cut out. At that time, the CPU 6 temporarily records the position (coordinates)/size information indicating the detected character candidate area in the RAM 7 (memory buffer).

CPU6は、第1の方法と同様に、バーコード領域22のデコード処理に失敗した場合に(ActB6、NG)、RAM7に記録された位置/サイズ情報を用いて文字候補領域を切り出す文字領域切出し処理を実行する(ActB8)。第2の方法では、バーコード領域22の周辺を探索する処理を、バーコード領域22を切り出す際(ActB3)と、文字領域23を切り出す際(ActB8)のそれぞれにおいて繰り返して実行しないので、さらに効率的なバーコード認識処理が実現可能となる。 As in the first method, when the decoding process of the barcode area 22 fails (Act B6, NG), the CPU 6 uses the position/size information recorded in the RAM 7 to extract a character candidate area. (Act B8). In the second method, the process of searching for the periphery of the barcode area 22 is not repeatedly executed when the barcode area 22 is cut out (Act B3) and when the character area 23 is cut out (Act B8). It becomes possible to realize a typical barcode recognition process.

図8は、第1実施形態のバーコード認識装置1によりバーコードを読取る第3の方法について示すフローチャートである。なお、第3の方法については、図6に示す第1の方法と異なる処理について説明する。
第3の方法では、バーコード読取部2の撮影による撮影画像21の取得後に、撮影画像21の全画面を対象とする画像領域探索処理を実行し(ActC3)、バーコード領域22及び文字領域23の両方についての探索を一括して行う。CPU6は、画像領域探索処理により検出されたバーコード候補領域と文字候補領域のそれぞれについて、位置/サイズ情報をRAM7(メモリバッファ)に記録しておく。
FIG. 8 is a flow chart showing a third method of reading barcodes by the barcode recognition device 1 of the first embodiment. As for the third method, processing different from that of the first method shown in FIG. 6 will be described.
In the third method, after acquiring the photographed image 21 photographed by the barcode reading unit 2, image area search processing is executed for the entire screen of the photographed image 21 (Act C3), and the barcode area 22 and the character area 23 are scanned. are collectively searched for both. The CPU 6 records position/size information in the RAM 7 (memory buffer) for each of the barcode candidate area and the character candidate area detected by the image area searching process.

CPU6は、バーコード領域22の切出しをする際に、RAM7に記録されたバーコード候補領域の位置/サイズ情報を用いて、バーコード領域22を切り出す(ActC3)。また、CPU6は、文字領域23の切出しをする際に、RAM7に記録された文字候補領域の位置/サイズ情報を用いて、文字領域23を切り出す(ActC8)。 When cutting out the barcode area 22, the CPU 6 uses the position/size information of the barcode candidate area recorded in the RAM 7 to cut out the barcode area 22 (Act C3). When cutting out the character area 23, the CPU 6 uses the position/size information of the character candidate area recorded in the RAM 7 to cut out the character area 23 (Act C8).

第3の方法では、一度の画面内全探索により、検出されたバーコード候補領域と文字候補領域の両方について位置/サイズ情報を一括して記録しておくので、画面内探索処理の回数を減らし、さらに効率的なバーコード認識処理が実現可能となる。 In the third method, position/size information for both the detected barcode candidate area and character candidate area are collectively recorded by one-time in-screen full search, thereby reducing the number of in-screen search processes. , more efficient barcode recognition processing can be realized.

図9は、第1実施形態のバーコード認識装置1によりバーコードを読取る第4の方法について示すフローチャートである。
第4の方法では、バーコード領域22の切出しからデコード情報(バーコード情報)の出力処理(ActD3~D7)と、文字領域23の切出しからデコード情報(バーコード情報)の出力処理(ActD8~D12)とを並列化して実行し、それぞれのデコード結果を統合して出力する。CPU6は、第3の方法と同様に画像領域探索処理を実行して、バーコード候補領域と文字候補領域のそれぞれについて位置/サイズ情報を記録する(ActD2)。CPU6は、バーコード領域切出し(ActD3)と、文字候補領域の切出し(ActD8)において、それぞれについての位置/サイズ情報を用いて処理する。
FIG. 9 is a flowchart showing a fourth method of reading barcodes by the barcode recognition device 1 of the first embodiment.
In the fourth method, decoding information (barcode information) output processing (Acts D3 to D7) from cutting out the barcode area 22 and decoding information (barcode information) output processing from cutting out the character area 23 (Acts D8 to D12 ) are parallelized and executed, and the respective decoding results are integrated and output. The CPU 6 executes image area search processing in the same manner as in the third method, and records position/size information for each of the barcode candidate area and character candidate area (Act D2). The CPU 6 uses the position/size information for each of the bar code area extraction (Act D3) and character candidate area extraction (Act D8).

CPU6は、バーコード領域22を対象としたデコード処理により出力されるバーコードデコード情報(第1バーコード情報)と、文字領域23を対象としたデコード処理(OCR処理)により出力されるOCRデコード情報(第2バーコード情報)を、バーコード領域22と文字領域23についての位置/サイズ情報をもとに統合するためのデコード情報統合処理を実行する(ActD13)。 The CPU 6 generates barcode decode information (first barcode information) output by decoding processing for the barcode area 22 and OCR decode information output by decoding processing (OCR processing) for the character area 23. Decode information integration processing for integrating the (second barcode information) based on the position/size information about the barcode area 22 and the character area 23 is executed (Act D13).

デコード情報統合処理では、CPU6は、バーコード領域22と文字領域23のそれぞれに対応するデコード情報が得られた場合には、位置/サイズ情報をもとに、バーコード領域22と文字領域23とが1つのバーコード12に含まれるか否かを判別する。1つのバーコード12に含まれると判別された場合、CPU6は、バーコード領域22と文字領域23の何れか一方を対象として出力されたバーコード情報を排除する。また、デコード情報統合処理では、CPU6は、バーコード領域22と文字領域23の何れか一方についてのみデコード情報が得られた場合には、そのデコード情報を位置/サイズ情報が示すバーコード12の読み取り結果とする。CPU6は、被撮影領域11から検出される複数のバーコード12のそれぞれについて、前述した処理を繰り返して実行する。 In the decode information integration process, when the decode information corresponding to each of the barcode area 22 and the character area 23 is obtained, the CPU 6 combines the barcode area 22 and the character area 23 based on the position/size information. is included in one barcode 12 or not. If it is determined to be included in one barcode 12, the CPU 6 eliminates the barcode information output targeting either the barcode area 22 or the character area 23. FIG. Further, in the decode information integration process, when the decode information is obtained only for one of the barcode area 22 and the character area 23, the CPU 6 reads the decode information from the barcode 12 indicated by the position/size information. result. The CPU 6 repeatedly executes the above-described processing for each of the plurality of barcodes 12 detected from the imaging region 11 .

第4の方法では、バーコード領域22と文字領域23のそれぞれについて並行してデコードして、その結果を統合することにより、何らかの原因でバーコード領域22が検出できない場合であっても、文字領域23を対象としたOCR処理によって、バーコード12が表すデコード情報(バーコード情報)を補完的に得ることが可能となる。 In the fourth method, the barcode area 22 and the character area 23 are decoded in parallel and the results are integrated, so that even if the barcode area 22 cannot be detected for some reason, the character area 23, the decode information (barcode information) represented by the barcode 12 can be obtained complementarily.

次に、前述したバーコード画像12aとは異なるコード画像を処理対象とする例について説明する。ここでは、例えば商品の値札など、商品や物品を陳列した棚を管理するための管理札として付されるラベルを対象として説明する。ラベルは、例えば所定のフォーマットにより印刷されて、商品や陳列棚に掲示される。 Next, an example of processing a code image different from the barcode image 12a described above will be described. Here, a label such as a product price tag, which is attached as a management tag for managing shelves on which products and articles are displayed, will be described. Labels are printed, for example, in a predetermined format and displayed on merchandise or display shelves.

図11(A)(B)は、第1実施形態におけるバーコード読取部2により撮影された撮影画像21に含まれるラベルに相当するラベル画像25aを探索するための方法を模式的に示した図である。図5(B)に示すバーコード画像12aでは、バーコード領域22の周辺近傍に文字領域23が設けられているが、図11(B)に示すラベル画像25aでは、バーコード領域22Aから離れた位置に文字領域23Aが設けられている。ラベル画像25aには、バーコード領域22Aと文字領域23Aの他に、ラベル情報26が含まれている。 11A and 11B are diagrams schematically showing a method for searching for label images 25a corresponding to labels included in the photographed image 21 photographed by the barcode reading unit 2 in the first embodiment. is. In the barcode image 12a shown in FIG. 5B, the character area 23 is provided near the periphery of the barcode area 22, but in the label image 25a shown in FIG. A character area 23A is provided at the position. Label image 25a includes label information 26 in addition to bar code area 22A and character area 23A.

CPU6は、図11(A)に示すように、前述と同様にして、撮影画像21に対して小面積となる探索領域24を設定し、撮影画像21を水平方向24H及び垂直方向24Vに順次走査し、図11(B)に示すフォーマットのラベル領域を検出する。 As shown in FIG. 11A, the CPU 6 sets a search area 24 having a small area in the photographed image 21 in the same manner as described above, and sequentially scans the photographed image 21 in the horizontal direction 24H and the vertical direction 24V. Then, the label area of the format shown in FIG. 11B is detected.

図12は、第1実施形態のバーコード認識装置1によりバーコードを読取る第5の方法について示すフローチャートである。第5の方法では、図11(B)に示すように、ラベル画像25a内で離間して設けられたバーコード領域22Aと文字領域23Aを読み取る処理を示している。なお、第5の方法については、図6に示す第1の方法と異なる処理について説明する。 FIG. 12 is a flowchart showing a fifth method for reading barcodes by the barcode recognition device 1 of the first embodiment. In the fifth method, as shown in FIG. 11B, a process of reading the bar code area 22A and the character area 23A, which are spaced apart in the label image 25a, is shown. As for the fifth method, processing different from that of the first method shown in FIG. 6 will be described.

ラベル画像25aでは、文字領域23Aがバーコード領域22Aに対して近接して配置されていないが、ラベル画像25a内の所定位置に配置されていることを利用する。すなわち、CPU6は、バーコード領域22Aの候補と文字領域23Aの候補の配置関係が図11(B)に示すフォーマットに相当する場合にラベル画像25aに相当するラベル領域として検出する(ActE2)。CPU6は、検出したラベル領域を示す位置/サイズ情報をRAM7(メモリバッファ)にラベル領域情報として一時記録しておく(ActE3)。CPU6は、撮影画像21に含まれる複数のラベル画像25aのそれぞれについて、ラベル領域切出しの処理を繰り返す(ActE2,E3)。 In the label image 25a, the character area 23A is not arranged close to the barcode area 22A, but is arranged at a predetermined position within the label image 25a. That is, the CPU 6 detects a label area corresponding to the label image 25a when the arrangement relationship between the candidate for the barcode area 22A and the candidate for the character area 23A corresponds to the format shown in FIG. 11B (Act E2). The CPU 6 temporarily records position/size information indicating the detected label area in the RAM 7 (memory buffer) as label area information (Act E3). The CPU 6 repeats the label area extraction process for each of the plurality of label images 25a included in the captured image 21 (Acts E2, E3).

次に、CPU6は、検出されたラベル領域情報を元に、ラベル画像25aからバーコード領域22Aを探索し、バーコード領域22Aのバーコード(バーコードパターン)をデコードする(ActE4~E7)。バーコードのデコード結果がチェックサムNGとなった場合は(ActE8、NG)、CPU6は、文字領域23Aの切出しをする際に、RAM7に記録されたラベル領域情報として記録された位置/サイズ情報を用いて、ラベル画像25aについて文字領域23Aを探索し(ActE10)、文字領域23Aを切り出す(ActE11)。 Next, the CPU 6 searches the barcode area 22A from the label image 25a based on the detected label area information, and decodes the barcode (barcode pattern) of the barcode area 22A (Acts E4 to E7). If the barcode decode result is NG (Act E8, NG), the CPU 6, when cutting out the character area 23A, uses the position/size information recorded as the label area information recorded in the RAM 7. is used to search for the character area 23A in the label image 25a (Act E10), and the character area 23A is cut out (Act E11).

こうして、文字領域23Aを探索する際に、ラベル領域情報を活用することで、効率よく文字領域23Aを探索することが可能となる。このように、撮影画像21から所定のラベル画像25a(ラベル領域)を検出する前処理を行うことで、バーコード領域22Aと文字領域23Aとが離間していても、効率よく、且つ高精度に、バーコード領域22Aと文字領域23Aを探索することが可能となる。また、バーコード領域22の候補や文字領域23の候補がラベル内にあるか否かの内外判定が可能となり、特に無関係なバーコードが一緒に撮影されてしまう場合などに検出精度向上が図れる。 In this way, by utilizing the label area information when searching for the character area 23A, it is possible to efficiently search for the character area 23A. By performing preprocessing for detecting a predetermined label image 25a (label area) from the photographed image 21 in this way, even if the barcode area 22A and the character area 23A are spaced apart, they can be efficiently and accurately detected. , the barcode area 22A and the character area 23A can be searched. In addition, it is possible to determine whether the candidate for the barcode area 22 or the candidate for the character area 23 is inside the label or not.

(第2実施形態)
第2実施形態のバーコード認識装置1Aは、第1実施形態と同様にして、バーコード領域22と文字領域23を対象としてバーコード情報を読取る。さらに、バーコード認識装置1Aは、第1実施形態におけるバーコード読取部2に代えて、設置場所が固定された撮像装置2Aを、バーコード画像等を含む画像を撮影する読取装置として使用することで、バーコード12の3次元空間における位置(3次元位置座標)を検出する。図14は、第2実施形態において、バーコード領域22や文字領域23が含まれる商品棚などを撮影するための撮影装置2Aの外観図を示している。
(Second embodiment)
The barcode recognition apparatus 1A of the second embodiment reads barcode information from the barcode area 22 and the character area 23 in the same manner as in the first embodiment. Furthermore, the barcode recognition device 1A can use an imaging device 2A fixed in place as a reading device for capturing an image including a barcode image, etc., instead of the barcode reading unit 2 in the first embodiment. , the position (three-dimensional position coordinates) of the barcode 12 in the three-dimensional space is detected. FIG. 14 shows an external view of a photographing device 2A for photographing a product shelf including the bar code area 22 and the character area 23 in the second embodiment.

撮影装置2Aは、カメラを水平方向に回転させるパン(P)機能(パターンユニット2A1)、及び、垂直方向に回転させるチルト(T)機能(チルトユニット2A2)を有する、所謂パン・チルトカメラ(PTカメラ)である。パン・チルトの回転中心は共通となっており、任意の回転角(θ,φ)にカメラ方向を設定しても、カメラの視点位置が一点に固定されている。パン・チルト機能は、天井などに固定的に取り付けられた防犯カメラなどの監視カメラに多く採用されており、同様にして撮影装置2Aに適用することができる。また、パン・チルト機能に加えてズーム(Z)機能を備えている撮影装置、すなわちパン・チルト・ズームカメラ(PTZカメラ)を利用することも可能である。 The photographing device 2A has a pan (P) function (pattern unit 2A1) for rotating the camera in the horizontal direction and a tilt (T) function (tilt unit 2A2) for rotating the camera in the vertical direction, a so-called pan/tilt camera (PT). camera). The pan/tilt rotation center is common, and even if the camera direction is set to an arbitrary rotation angle (θ, φ), the viewpoint position of the camera is fixed at one point. The pan/tilt function is often used in surveillance cameras such as security cameras that are fixedly attached to the ceiling or the like, and can be similarly applied to the photographing device 2A. It is also possible to use a photographing device having a zoom (Z) function in addition to the pan/tilt function, that is, a pan/tilt/zoom camera (PTZ camera).

図13は、第2実施形態におけるバーコード認識装置1Aのデバイス構成を示すブロック図である。図13に示すように、撮影装置2Aは、図2に示すバーコード読取部2に相当している。また、バーコード認識装置1Aは、複数の撮影装置2A,2Bを設けることも可能である。バーコード認識装置1Aは、図2に示すCPUやRAM、通信部などのデバイス機能1Bに相当するシステム構成は、ローカル接続のパーソナルコンピュータ(PC)や、オンプレミスサーバ、あるいはクラウド上に構築することが可能である。デバイス機能1Bの詳細については第1実施形態とほぼ同じものとして説明を省略する。デバイス機能1Bは、撮影装置2A,2Bにより撮影された画像を入力して、以下に説明する処理を実行する。 FIG. 13 is a block diagram showing the device configuration of the barcode recognition device 1A in the second embodiment. As shown in FIG. 13, the photographing device 2A corresponds to the barcode reader 2 shown in FIG. Also, the barcode recognition device 1A can be provided with a plurality of photographing devices 2A and 2B. The system configuration of the barcode recognition device 1A, which corresponds to the device function 1B such as the CPU, RAM, and communication unit shown in FIG. It is possible. The details of the device function 1B are almost the same as those in the first embodiment, and the description thereof is omitted. The device function 1B receives images captured by the imaging devices 2A and 2B and executes the processing described below.

図15(A)(B)は、撮影対象の基準面とする、例えば商品棚のラベル表示面(棚基準面31)が、撮影装置2A(PT(PTZ)カメラ)の撮影条件に対して、幾何学的にどのような関係にあるかを示した図である。図15では、直交座標系のx軸、y軸を棚基準面31上に取り、簡単のため撮影装置2Aはz軸上にあり、チルト角θは0とした。 15A and 15B show that the label display surface (shelf reference surface 31) of the product shelf, which is used as the reference surface of the object to be photographed, corresponds to the photographing conditions of the photographing device 2A (PT (PTZ) camera). It is a figure showing what kind of relationship there is geometrically. In FIG. 15, the x-axis and y-axis of the orthogonal coordinate system are taken on the shelf reference plane 31, and for the sake of simplification, the photographing device 2A is on the z-axis and the tilt angle .theta.

撮影装置2Aの設置基準位置とする視点28は、直交座標系原点からのz軸上座標、すなわち棚から距離棚-カメラ間基準距離(zs)の位置に配置し、パン方向の角度φをφ0にした。撮影装置2Aの撮影水平画角を2ω0、カメラの軸上から棚までの距離、すなわち棚-カメラ間距離をz0とすると、撮影装置2Aの撮影水平画角境界及び光軸と棚基準面31の交点位置及び距離は、図15(B)に示した通りとなる。また、視野基準面32(幅2W)に投影される棚形状は、棚が直方体であると仮定すると、図15(A)に示す棚-視野基準投影面33のように台形形状に歪む。図15(A)に示す棚-視野基準投影面33の右辺YRと左辺YLは、それぞれ以下の式で表される。 The viewing point 28, which is the installation reference position of the photographing device 2A, is located at the z-axis coordinate from the origin of the orthogonal coordinate system, that is, the shelf-camera reference distance (zs) from the shelf, and the angle φ in the pan direction is φ0. made it Assuming that the photographing horizontal angle of view of the photographing device 2A is 2ω0, and the distance from the axis of the camera to the shelf, that is, the distance between the shelf and the camera is z0, the photographing horizontal field angle boundary of the photographing device 2A, the optical axis, and the shelf reference plane 31 are: The intersection position and distance are as shown in FIG. 15(B). Further, if the shelf is assumed to be a rectangular parallelepiped, the shelf shape projected onto the visual field reference plane 32 (width 2W) is distorted into a trapezoidal shape like the shelf-field reference projection plane 33 shown in FIG. 15(A). The right side YR and the left side YL of the shelf-view reference projection plane 33 shown in FIG. 15A are expressed by the following equations.

Figure 0007304992000001
Figure 0007304992000001

図16(A)(B)は、棚基準面31上にバーコード12を配置した場合、視野範囲34における図15に示した各パラメータとの関係を示した図である。図16から、棚-カメラ間基準距離(zs)、パン方向角度φ0及び撮影水平画角ω0が分かれば、これらのパラメータと、撮影した視野基準面32内における光軸からバーコード12までの距離wとの関係が示され、棚基準面31におけるx軸上の座標が復元できることが分かる。すなわち、撮影装置2Aによる撮影画像におけるバーコード12の位置情報から、実際の棚における3次元空間におけるバーコード12の位置情報を算出することが可能である。 16A and 16B are diagrams showing the relationship between each parameter shown in FIG. If the shelf-camera reference distance (zs), the panning direction angle φ0, and the shooting horizontal angle of view ω0 are known from FIG. It can be seen that the x-axis coordinates on the shelf reference plane 31 can be restored. That is, it is possible to calculate the positional information of the barcode 12 in the three-dimensional space on the actual shelf from the positional information of the barcode 12 in the image captured by the imaging device 2A.

図17は、図15及び図16に示す関係を更に一般的に表した図である。撮影装置2A(視点28)は、棚基準面31に存在する直交座標(x,y,z)において(0,0,-zs)に存在し、視野基準面32のローカル座標系XY2次元平面の基準座標及びバーコード12の位置は、y軸をz軸方向に平行移動したy'軸における単位球面座標系(θ,φ)で表現される。例えば、図17に示す例では、バーコード12の位置は(θ0,φ0+ω)であり、先に述べた視野基準面32のローカル座標系XY直交軸上の位置から、最終的に棚基準面31の座標系に投影することが可能である。なお、棚-カメラ間基準距離(zs)は予め設定値として固定的に与えても良いし、レーザ距離計のように光学的な計測手段を設けても良い。また、撮影装置2A(カメラ)のレンズ条件及びピント位置から距離を間接的に推測することも可能である。同様に、撮影装置2A(カメラ)からバーコード12までの距離も先に述べた方法で直接あるいは間接的に計測することが可能であるため、バーコード12の位置情報を棚基準面における2次元座標上にマッピングするのみならず、3次元座標上にマッピングすることも可能である。 FIG. 17 is a more general representation of the relationships shown in FIGS. The imaging device 2A (viewpoint 28) exists at (0, 0, -zs) in the orthogonal coordinates (x, y, z) existing on the shelf reference plane 31, and is located on the local coordinate system XY two-dimensional plane of the visual field reference plane 32. The reference coordinates and the position of the bar code 12 are expressed in a unit spherical coordinate system (θ, φ) on the y′-axis, which is the y-axis translated in the z-axis direction. For example, in the example shown in FIG. 17, the position of the barcode 12 is (.theta.0, .phi.0+.omega.). can be projected into the coordinate system of Note that the shelf-camera reference distance (zs) may be fixedly given as a preset value, or may be provided with an optical measuring means such as a laser rangefinder. It is also possible to indirectly estimate the distance from the lens condition and focus position of the photographing device 2A (camera). Similarly, since the distance from the photographing device 2A (camera) to the barcode 12 can be directly or indirectly measured by the method described above, the positional information of the barcode 12 can be measured two-dimensionally on the shelf reference plane. It is possible to perform not only mapping on coordinates but also mapping on three-dimensional coordinates.

図18は、第2実施形態のバーコード認識装置1Aによりバーコードを読取る方法について示すフローチャートである。第2実施形態では、バーコード候補領域を粗探索する前段の処理(ActF1~F4)(粗探索処理S1)と、粗探索処理S1により検出されたバーコード位置情報に基づき、近傍領域を撮影して詳細探索を行う後段の処理(ActF6~F9)(詳細探索処理S2)の二段階に分けて撮影を行う。 FIG. 18 is a flow chart showing a method for reading barcodes by the barcode recognition device 1A of the second embodiment. In the second embodiment, the neighboring area is photographed based on the preceding processing (ActF1 to F4) (coarse search processing S1) for roughly searching the barcode candidate region and the barcode position information detected by the coarse search processing S1. The photographing is performed in two stages, namely, the subsequent processing (Acts F6 to F9) (detailed search processing S2) in which the detailed search is performed using the

CPU6は、粗探索処理S1において、撮影装置2Aの撮影方向(カメラ向き条件)を設定して撮影を実行し(ActF2,F3)、撮影画像からバーコード画像(バーコード領域22)を対象として探索を実行する(ActF4)。ここでは、正確な探索ではなく、処理負担が軽いバーコード領域の候補を探索する粗探索を実行して、バーコード領域の候補とする場所を示すバーコード候補位置(位置/サイズ情報)をRAM7に記録しておく(ActF5)。CPU6は、撮影装置2Aの撮影方向を変更しながら撮影し、それぞれの撮影画像から探索されバーコード領域の候補について、撮影バーコード候補位置を記録する(ActF2~F4)。 In the rough search process S1, the CPU 6 sets the photographing direction (camera direction condition) of the photographing device 2A, executes photographing (Acts F2, F3), and searches for the barcode image (barcode area 22) from the photographed image. (Act F4). In this case, rather than an accurate search, a rough search for searching for barcode area candidates with a light processing load is performed, and the barcode candidate positions (position/size information) indicating locations to be used as barcode area candidates are stored in the RAM 7 . (Act F5). The CPU 6 takes pictures while changing the direction of photographing of the photographing device 2A, and records the position of the photographed barcode candidate for the candidate of the barcode area searched from each photographed image (Acts F2 to F4).

次に、CPU6は、詳細探索処理S2において、撮影装置2Aの撮影方向(カメラ向き)を、粗探索処理S1でのカメラ向き条件設定に応じて設定して撮影を実行する(ActF6,F7)。CPU6は、各バーコード領域の候補に対応する撮影バーコード候補位置を用いて、第1実施形態と同様にして、バーコード領域22と文字領域23とを対象としたバーコード情報の読取を実行する(ActF9)。なお、ActF9の処理は、図6の破線内に示す第1実施形態におけるActA2~A11の処理を実行するものとして説明を省略する。 Next, in the detailed search process S2, the CPU 6 sets the photographing direction (camera orientation) of the photographing device 2A according to the camera orientation condition setting in the rough search process S1, and executes photographing (Acts F6, F7). The CPU 6 reads barcode information from the barcode area 22 and the character area 23 in the same manner as in the first embodiment, using the photographed barcode candidate positions corresponding to the barcode area candidates. (Act F9). It should be noted that the processing of Act F9 is assumed to execute the processing of Acts A2 to A11 in the first embodiment shown within the dashed lines in FIG. 6, and description thereof will be omitted.

こうして、第2実施形態では、粗探索処理S1によって探索されたバーコード候補位置を対象として、バーコード領域22と文字領域23を対象とする詳細探索処理S2を実行するので、撮影及び探索時間の効率化による処理時間の短縮を図ることができる。 In this way, in the second embodiment, the detailed search processing S2 is executed for the barcode area 22 and the character area 23, targeting the barcode candidate positions searched by the rough search processing S1. It is possible to shorten the processing time by improving the efficiency.

また、第2実施形態では、ズーム(Z)機能を備えたパン・チルト・ズームカメラ(PTZカメラ)を撮影装置2Aとして用いることも可能である。この場合、粗探索処理S1において、粗探索に必要な品質のバーコード画像が得られるように、撮影装置2Aに対してカメラズーム初期設定を実行して(ActF1)、撮影を実行させる。また、CPU6は、詳細探索処理S2において、粗探索処理S1よりも精細なバーコード画像が得られるようにカメラズーム設定をして撮影を実行させる(ActF7)。すなわち、ズーム(Z)撮影機能を利用することで、詳細探索処理S2において高精細のバーコード画像を対象としてバーコード情報を認識するので、認識精度の向上が期待できる。 Further, in the second embodiment, a pan/tilt/zoom camera (PTZ camera) having a zoom (Z) function can be used as the photographing device 2A. In this case, in the rough search processing S1, camera zoom initial setting is executed for the photographing device 2A (Act F1) so as to obtain a barcode image of the quality required for the rough search, and photographing is executed. In addition, in the detailed search process S2, the CPU 6 sets the camera zoom so that a finer barcode image than in the rough search process S1 can be obtained, and causes photography to be performed (Act F7). That is, by using the zoom (Z) photographing function, the barcode information is recognized for the high-definition barcode image in the detailed search process S2, so an improvement in recognition accuracy can be expected.

図19は、第2実施形態のバーコード認識装置1Aによりバーコードを読取る第1の変形例について示すフローチャートである。図19に示す処理は、図18に示す処理を基本として、さらにバーコードが付される商品棚に関する商品棚マスター情報(プラノグラム)と、実際に撮影された画像から読み取られたバーコードの位置情報とを比較参照した結果をレポートとして出力する処理を設けている。商品棚マスター情報(プラノグラム)は、例えば商品棚割り計画のデータベースであり、商品棚の何れの位置にどの商品を収容するかなどを示す情報である。 FIG. 19 is a flow chart showing a first modified example of reading barcodes by the barcode recognition device 1A of the second embodiment. The processing shown in FIG. 19 is based on the processing shown in FIG. 18, and is based on product shelf master information (planogram) related to product shelves to which barcodes are added, and barcode positions read from actually photographed images. A process for outputting the result of comparing and referring to information as a report is provided. The product shelf master information (planogram) is, for example, a product planogram database, and is information indicating which products are to be accommodated in which position on the product shelf.

ここでは、例えば商品棚に掲示されたバーコードの情報が大幅に変わらないことを前提として、定期的に複数回の棚情報照合処理を行うことを想定する。CPU6は、商品棚に付されたバーコードのバーコード情報を初めて読取る場合、あるいは前回の読取結果をリセットして、再度、読取る場合には(ActG1、Yes)、図18に示す粗探索処理S1によりバーコード候補位置を検出して(ActG2)、RAM7にバーコード候補位置情報(H1)として記録する(ActG3)。 Here, for example, it is assumed that the shelf information matching process is periodically performed a plurality of times on the assumption that the information of the bar code posted on the product shelf does not change significantly. When the CPU 6 reads the barcode information of the barcode attached to the product shelf for the first time, or resets the previous reading result and reads it again (Act G1, Yes), the coarse search processing S1 shown in FIG. to detect the barcode candidate position (Act G2), and record it in the RAM 7 as barcode candidate position information (H1) (Act G3).

CPU6は、2回目以降の読取を実行する場合(ActG1、No)、バーコード位置情報(H1)を参照して、図18に示す詳細探索処理S2による情報取得処理を実行する(ActG4)。ActG4では、CPU6は、対象領域の全撮影、粗探索処理S1(ActG2)を実行せずに、後段のバーコード候補領域の撮影と詳細探索処理S2(ActG4)を開始することが可能となる。 When the CPU 6 executes the second and subsequent reading (Act G1, No), the CPU 6 refers to the barcode position information (H1) and executes the information acquisition process by the detailed search process S2 shown in FIG. 18 (Act G4). In Act G4, the CPU 6 can start the imaging of the barcode candidate area and the detailed search process S2 (Act G4) in the subsequent stage without executing the entire imaging of the target area and the coarse search process S1 (Act G2).

バーコード候補領域の撮影と情報取得処理(ActG4)において、より適切なバーコード位置情報が得られた場合は、CPU6は、バーコード位置情報をバーコード候補位置情報(H1)に書き込むことで更新処理を行う。一方、CPU6は、バーコード候補領域の撮影と情報取得処理(ActG4)の結果として得られたバーコード候補領域についてのバーコード位置・デコード情報をRAM7に記録しておく。 If more appropriate barcode position information is obtained in the barcode candidate area imaging and information acquisition process (Act G4), the CPU 6 writes the barcode position information to the barcode candidate position information (H1) for updating. process. On the other hand, the CPU 6 records in the RAM 7 the barcode position/decode information for the barcode candidate area obtained as a result of the barcode candidate area imaging and information acquisition processing (Act G4).

CPU6は、バーコード位置・デコード情報と、商品棚マスター情報(プラノグラム)(H2)とを比較照合する棚情報照合処理を実行する(ActG5)。棚情報照合処理では、CPU6は、撮影した画像から読み取られたバーコード位置情報とバーコード情報とが、商品棚マスター情報と一致するかを判別する。一致すると判別された場合、CPU6は、実際の商品棚の棚割りが正しく計画通りに行われていることを確認し、不一致部分について警告を表示し、その結果をまとめてレポート(H3)として出力する。 The CPU 6 executes shelf information collation processing for comparing and collating the barcode position/decode information and the product shelf master information (planogram) (H2) (Act G5). In the shelf information matching process, the CPU 6 determines whether the barcode position information and the barcode information read from the photographed image match the product shelf master information. If it is determined that they match, the CPU 6 confirms that the planogram of the actual product shelf is performed correctly according to the plan, displays a warning about the discrepancy, and outputs the results as a report (H3). do.

このようにして、バーコードの位置情報(バーコード位置・デコード情報)を検出することで、商品棚マスター情報との比較を可能とし、物品や棚の位置情報とバーコード情報との対応付けが必要な棚卸作業や検品作業を容易にすることができる。撮影装置2Aは、設置した場所から全方位撮影をすることができるため、撮影装置2Aの周囲の商品棚について自動に分析作業をすることができ、省人化・省力化が可能となる。 By detecting the bar code position information (bar code position/decode information) in this way, it is possible to compare it with the product shelf master information, and the correspondence between the product/shelf position information and the bar code information is established. Required inventory work and inspection work can be facilitated. Since the photographing device 2A can perform omnidirectional photographing from the place where it is installed, it is possible to automatically analyze the product shelves around the photographing device 2A, thereby saving manpower and labor.

図20は、第2実施形態のバーコード認識装置1Aによりバーコードを読取る第2の変形例について示す図である。図20では、複数台(図20では2台)の撮影装置2A,2Bを用いて、それぞれ共通する範囲を撮影する。図20では、撮影装置2Aと撮影装置2Bの設置位置の距離をRとしている。バーコード認識装置1Aは、第1のカメラ撮影位置である視点28(撮影装置2A)で撮影した撮影画像を対象として、前述した処理に基づきバーコード位置の探索とデコード処理を行った後、第2のカメラ撮影位置である視点29(撮影装置2B)において、同様にバーコード位置の探索とデコード処理を行う。 FIG. 20 is a diagram showing a second modification in which barcodes are read by the barcode recognition device 1A of the second embodiment. In FIG. 20, a plurality of (two in FIG. 20) photographing devices 2A and 2B are used to photograph a common range. In FIG. 20, R is the distance between the installation positions of the imaging device 2A and the imaging device 2B. The barcode recognition apparatus 1A searches for the barcode position and performs the decoding process on the captured image captured at the viewpoint 28 (image capturing device 2A), which is the first camera capturing position. At the viewpoint 29 (photographing device 2B), which is the camera photographing position of No. 2, search for the bar code position and decoding processing are performed in the same manner.

このような処理を行うと、あるバーコード12は、第1の視点28に基づくローカル座標系(x1,y1,z1)での位置座標(r1,θ1,φ1)と、第2の視点29に基づくローカル座標系(x2,y2,z2)での位置座標(r2,θ2,φ2)のうち、少なくとも単位球面座標上の成分(θ1,φ1)、(θ2,φ2)の値を求めることが可能である。ここで、第1の視点28と、第2の視点29の距離Rと方向が既知であれば、第2の視点29の第1の視点28に対する座標(xc,yc,zc)が分かるので、2つの視点におけるローカル座標で得られたバーコードの位置座標(θ1,φ1)、(θ2,φ2)の値から、例えば複数のバーコード12における位置座標成分の組を用いて未知の距離成分r1、r2を求め、最終的にグローバル座標系におけるバーコードの3次元位置座標を求めることが可能となる。 When such processing is performed, a bar code 12 has position coordinates (r1, θ1, φ1) in the local coordinate system (x1, y1, z1) based on the first viewpoint 28 and It is possible to obtain the values of at least the components (θ1, φ1) and (θ2, φ2) on the unit spherical coordinates among the position coordinates (r2, θ2, φ2) in the local coordinate system (x2, y2, z2) based on is. Here, if the distance R and the direction between the first viewpoint 28 and the second viewpoint 29 are known, the coordinates (xc, yc, zc) of the second viewpoint 29 with respect to the first viewpoint 28 are known. For example, the unknown distance component r1 , r2, and finally the three-dimensional position coordinates of the barcode in the global coordinate system can be obtained.

ここでは、第1の視点28と第2の視点29の相対的な位置座標(xc,yc,zc)が既知であり、各々のローカル座標におけるバーコード12の距離成分r1、r2が未知であるとしたが、撮影装置2A,2B(カメラ)からバーコード12までの距離rをカメラの撮影パラメータ、あるいはレーザ測距などの距離計測手段により既知とすることも可能であるから、複数のバーコード12のローカル位置座標(r1,θ1,φ1)と(r2,θ2,φ2)の組から第2の視点29の第1の視点28に対する位置座標(xc,yc,zc)を求めることができる。すなわち、第2の視点29の位置が未知であっても各々のバーコード12の3次元位置座標を求めることも可能である。また、バーコード12の距離成分r1、r2および位置座標(xc,yc,zc)が未知であっても多数のバーコード12について2点間の(θ1,φ1)、(θ2,φ2)の位置座標の組から各々の3次元位置座標を同定することが可能である。 Here, the relative positional coordinates (xc, yc, zc) of the first viewpoint 28 and the second viewpoint 29 are known, and the distance components r1, r2 of the barcode 12 at each local coordinate are unknown. However, since the distance r from the imaging devices 2A and 2B (cameras) to the barcode 12 can be known by the imaging parameters of the cameras or distance measurement means such as laser ranging, a plurality of barcodes The position coordinates (xc, yc, zc) of the second viewpoint 29 with respect to the first viewpoint 28 can be obtained from a set of 12 local position coordinates (r1, θ1, φ1) and (r2, θ2, φ2). That is, even if the position of the second viewpoint 29 is unknown, it is possible to obtain the three-dimensional position coordinates of each barcode 12 . In addition, even if the distance components r1 and r2 and the position coordinates (xc, yc, zc) of the barcode 12 are unknown, the positions (θ1, φ1) and (θ2, φ2) between two points for many barcodes 12 can be calculated. Each three-dimensional position coordinate can be identified from the set of coordinates.

図20に示した2点あるいは複数地点でのカメラ撮影方法としては、同種の撮影装置2A,2Bを2台用いて撮影視野を一部重複させながら各々固定的な視点から撮影を行う方法と、1つの撮影装置2Aを2つの視点間で移動させ、各々撮影する方法に大別される。前者の例としては、複数の監視カメラを天井に備えておき、各々の監視画像を用いてバーコード12の探索とデコードを行う方法が挙げられる。また、後者の例としては、人為的に2つの撮影位置を都度与えて測定を行う方法の他に、自律移動ロボットや移動台車などの移動体にカメラを搭載し、一部の撮影範囲を重複させながら移動撮影を繰り返す方法が挙げられる。後者の場合には、2つ以上の視点、例えば3つの視点から同一のバーコードを撮影しておき、そのバーコードデコード情報あるいは周辺の画像情報から同一のバーコードであることを同定しつつ3組のローカル方向座標成分からグローバル座標系における3次元位置座標を求めることが可能となる。 As the method of photographing with a camera at two or a plurality of points shown in FIG. 20, there is a method in which two photographing apparatuses 2A and 2B of the same type are used to photograph from fixed viewpoints while partially overlapping the photographing field of view, It is roughly classified into a method of moving one photographing device 2A between two viewpoints and photographing each of them. As an example of the former, there is a method in which a plurality of monitoring cameras are installed on the ceiling and the bar code 12 is searched and decoded using each monitoring image. As an example of the latter, in addition to the method of artificially giving two shooting positions each time and measuring, a camera is mounted on a moving body such as an autonomous mobile robot or a mobile cart, and some of the shooting ranges are overlapped. There is a method of repeating moving shooting while moving. In the latter case, the same barcode is photographed from two or more viewpoints, for example, three viewpoints, and the same barcode is identified from the barcode decode information or peripheral image information. Three-dimensional position coordinates in the global coordinate system can be obtained from the set of local direction coordinate components.

こうして、複数位置において撮影された撮影画像を対象としてバーコードを読取り、バーコード位置を検出することにより、例えば倉庫や店舗などの空間内に、広範囲に複数配置されたバーコード12を離れた位置から検知し、効率良くバーコード情報を読み取ることが可能なバーコード認識装置を提供することが可能となる。更に、バーコード情報の読み取りと共に、バーコードの空間内位置情報を得ることが可能な物品管理システムを提供することが可能となる。 In this way, by reading the barcodes of the captured images captured at a plurality of positions and detecting the barcode positions, it is possible to detect positions separated from the barcodes 12 that are widely arranged in a space such as a warehouse or a store. It is possible to provide a barcode recognition device capable of detecting from and reading barcode information efficiently. Furthermore, it is possible to provide an article management system capable of obtaining spatial position information of the barcode as well as reading the barcode information.

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 While several embodiments of the invention have been described, these embodiments have been presented by way of example and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and modifications can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the scope of the invention described in the claims and equivalents thereof.

また、前述した実施の形態において記載した処理は、コンピュータに実行させることのできるプログラムとして、例えば磁気ディスク(フレキシブルディスク、ハードディスク等)、光ディスク(CD-ROM、DVD等)、半導体メモリなどの記録媒体に書き込んで各種装置に提供することができる。また、通信媒体により伝送して各種装置に提供することも可能である。コンピュータは、記録媒体に記録されたプログラムを読み込み、または通信媒体を介してプログラムを受信し、このプログラムによって動作が制御されることにより、上述した処理を実行する。 Further, the processing described in the above-described embodiments can be performed by using a recording medium such as a magnetic disk (flexible disk, hard disk, etc.), an optical disk (CD-ROM, DVD, etc.), a semiconductor memory, etc. as a program that can be executed by a computer. can be written to and provided to various devices. Moreover, it is also possible to transmit it by a communication medium and provide it to various devices. The computer reads a program recorded on a recording medium or receives the program via a communication medium, and executes the above-described processes by being controlled by the program.

1…バーコード認識装置、2…バーコード読取部、3…表示部、4…入力部、5…ROM、6…CPU、7…RAM、8…通信部、9…I/F部。 DESCRIPTION OF SYMBOLS 1... barcode recognition apparatus, 2... barcode reading part, 3... display part, 4... input part, 5... ROM, 6... CPU, 7... RAM, 8... communication part, 9... I/F part.

Claims (4)

パン・チルト機能を備えたカメラにより、基準面に配置されたコード画像を撮影するための読取手段と、
複数の異なる位置において前記読取手段によりそれぞれ撮影された複数のコード画像から前記コード画像に含まれるコード領域と文字領域を検出する領域検出手段と、
前記コード領域から前記コード画像が表す第1コード情報を抽出する第1抽出手段と、
前記文字領域から前記コード画像が表す第2コード情報を抽出する第2抽出手段と、
前記複数のコード画像から検出された前記コード領域の位置と、前記複数のコード画像のそれぞれに対応する前記パン・チルト機能により調整される前記カメラの向きを示すパン・チルト情報をもとに、前記コード画像に相当するコードの3次元空間における前記基準面における前記コード領域の位置を検出する位置検出手段と
を有するコード認識装置。
reading means for photographing a code image arranged on a reference plane by a camera having a pan/tilt function;
an area detecting means for detecting a code area and a character area included in the code image from a plurality of code images photographed by the reading means at a plurality of different positions ;
a first extraction means for extracting first code information represented by the code image from the code region;
a second extraction means for extracting second code information represented by the code image from the character area;
Based on the position of the code area detected from the plurality of code images and pan/tilt information indicating the direction of the camera adjusted by the pan/tilt function corresponding to each of the plurality of code images , and position detecting means for detecting the position of the code area on the reference plane in the three-dimensional space of the code corresponding to the code image .
前記第2抽出手段は、前記第1抽出手段により前記第1コード情報を抽出できなかった場合に、前記文字領域から第2コード情報を抽出する請求項1記載のコード認識装置。 2. The code recognition apparatus according to claim 1, wherein said second extraction means extracts second code information from said character area when said first extraction means fails to extract said first code information. 前記第1コード情報と前記第2コード情報を統合する情報統合手段をさらに有する請求項1記載のコード認識装置。 2. The code recognition apparatus according to claim 1, further comprising information integrating means for integrating said first code information and said second code information. 前記カメラはズーム機能を備え、
前記領域検出手段は、
前記読取手段により第1ズーム設定により撮影された画像から前記コード領域の候補を検出し、
前記読取手段により前記コード領域の候補の向きに前記カメラの撮影方向を設定して、前記第1ズーム設定より詳細な画像が得られる第2ズーム設定により撮影された前記コード画像から、前記コード領域と前記文字領域を検出する請求項1記載のコード認識装置。
the camera has a zoom function,
The area detection means is
detecting candidates for the code area from an image captured by the reading means with a first zoom setting;
By setting the imaging direction of the camera to the direction of the candidate of the code area by the reading means, the code area is captured from the code image captured by the second zoom setting that obtains a more detailed image than the first zoom setting. 2. The code recognition apparatus according to claim 1, wherein said character area is detected.
JP2022032739A 2020-09-01 2022-03-03 code recognizer Active JP7304992B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022032739A JP7304992B2 (en) 2020-09-01 2022-03-03 code recognizer

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020146696A JP7036874B2 (en) 2020-09-01 2020-09-01 Code recognition device
JP2022032739A JP7304992B2 (en) 2020-09-01 2022-03-03 code recognizer

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020146696A Division JP7036874B2 (en) 2020-09-01 2020-09-01 Code recognition device

Publications (3)

Publication Number Publication Date
JP2022071136A JP2022071136A (en) 2022-05-13
JP2022071136A5 JP2022071136A5 (en) 2022-11-10
JP7304992B2 true JP7304992B2 (en) 2023-07-07

Family

ID=87001966

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022032739A Active JP7304992B2 (en) 2020-09-01 2022-03-03 code recognizer

Country Status (1)

Country Link
JP (1) JP7304992B2 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000511320A (en) 1997-04-24 2000-08-29 ユナイテッド パーセル サービス オブ アメリカ,インコーポレイテッド Optical character recognition (OCR) assisted bar code decoding system and method
JP2011150460A (en) 2010-01-20 2011-08-04 Hitachi Information & Control Solutions Ltd System and method for managing warehousing/shipping
JP2012064110A (en) 2010-09-17 2012-03-29 Casio Comput Co Ltd Information reading apparatus and program
WO2012164686A1 (en) 2011-05-31 2012-12-06 楽天株式会社 Image processing device, image processing method, program, and recording medium

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000511320A (en) 1997-04-24 2000-08-29 ユナイテッド パーセル サービス オブ アメリカ,インコーポレイテッド Optical character recognition (OCR) assisted bar code decoding system and method
JP2011150460A (en) 2010-01-20 2011-08-04 Hitachi Information & Control Solutions Ltd System and method for managing warehousing/shipping
JP2012064110A (en) 2010-09-17 2012-03-29 Casio Comput Co Ltd Information reading apparatus and program
WO2012164686A1 (en) 2011-05-31 2012-12-06 楽天株式会社 Image processing device, image processing method, program, and recording medium

Also Published As

Publication number Publication date
JP2022071136A (en) 2022-05-13

Similar Documents

Publication Publication Date Title
US10664675B2 (en) Code recognition device
US10019803B2 (en) Store shelf imaging system and method using a vertical LIDAR
JP7036874B2 (en) Code recognition device
US10002344B2 (en) System and method for retail store promotional price tag detection
US9477955B2 (en) Automatic learning in a merchandise checkout system with visual recognition
US9659204B2 (en) Image processing methods and systems for barcode and/or product label recognition
JP3977776B2 (en) Stereo calibration device and stereo image monitoring device using the same
JP2019200697A (en) Shelf management system and program
JP2023015989A (en) Item identification and tracking system
CN110926330B (en) Image processing apparatus, image processing method, and program
AU2021202205B2 (en) Using barcodes to determine item dimensions
JP5700220B2 (en) Marker generation device, marker generation detection system, marker generation detection device, marker, marker generation method and program thereof
EP1638048A1 (en) Information presentation apparatus and information presentation method
JP7304992B2 (en) code recognizer
JP2019012546A (en) Information processing device, image processing method and program, and pos terminal device
JP6065911B2 (en) Arrangement information registration device, arrangement information registration method, and arrangement information registration program
JP2007200364A (en) Stereo calibration apparatus and stereo image monitoring apparatus using the same
US20230288912A1 (en) Workstation with dynamic machine vision sensing and augmented reality
JP2005309717A (en) Marker processing method, marker processor, program and recording medium
JP2984267B1 (en) Object processing method
JP2006317418A (en) Image measuring device, image measurement method, measurement processing program, and recording medium
CN113330275B (en) Camera information calculation device, camera information calculation system, camera information calculation method, and recording medium
US20180129843A1 (en) Method for obtaining information from a coding body, system comprising a coding body, computer program product and data storage means
JP2024022937A (en) Information processing device, method for searching article, and program
CN116246260A (en) Component recognition method and recognition device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220401

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221101

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20230104

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230306

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230314

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230511

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230530

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230627

R150 Certificate of patent or registration of utility model

Ref document number: 7304992

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150