JP2011030108A - Medical image reading system - Google Patents
Medical image reading system Download PDFInfo
- Publication number
- JP2011030108A JP2011030108A JP2009175879A JP2009175879A JP2011030108A JP 2011030108 A JP2011030108 A JP 2011030108A JP 2009175879 A JP2009175879 A JP 2009175879A JP 2009175879 A JP2009175879 A JP 2009175879A JP 2011030108 A JP2011030108 A JP 2011030108A
- Authority
- JP
- Japan
- Prior art keywords
- medical image
- image
- client
- medical
- received
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 claims description 53
- 238000001514 detection method Methods 0.000 claims description 37
- 238000000034 method Methods 0.000 claims description 16
- 230000001360 synchronised effect Effects 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 5
- 239000003086 colorant Substances 0.000 claims description 3
- 238000009826 distribution Methods 0.000 abstract description 14
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 230000000593 degrading effect Effects 0.000 description 3
- 230000000116 mitigating effect Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
Landscapes
- Medical Treatment And Welfare Office Work (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は、Ｘ線コンピュータ断層撮影装置（ＣＴ：Computed Tomography）や磁気共鳴イメージング装置（ＭＲＩ：Magnetic Resonance Imaging）などの医用画像撮影装置で撮影された患者の画像を、ネットワークを介してユーザに参照させる医用画像診断において誤診を防止するためのシステムであって、医用画像を参照するクライアントとしてシンクライアントを適用した医用画像読影システムに関する。 The present invention refers to an image of a patient taken by a medical imaging apparatus such as an X-ray computed tomography apparatus (CT) or a magnetic resonance imaging apparatus (MRI) via a network. The present invention relates to a medical image interpretation system in which a thin client is applied as a client for referring to a medical image.
医用画像撮影装置と、医用画像を保管するサーバと、医用画像を参照するクライアントとがネットワークに接続され、ネットワークを介して医用画像を参照することが可能な医用画像読影システムが利用されている。 2. Description of the Related Art A medical image interpretation system is used in which a medical image capturing apparatus, a server that stores medical images, and a client that refers to medical images are connected to a network and can refer to medical images via the network.
一方で、ネットワークを介してサーバに接続し作業する端末として、端末内にハードディスクなどの記憶装置を持たないシンクライアントが、管理コストを含むＴＣＯ（Total Cost of Ownership）の削減の観点や、アクセス制御によるセキュリティ向上の観点から注目されてきている。 On the other hand, a thin client that does not have a storage device such as a hard disk in the terminal as a terminal connected to a server via a network works to reduce TCO (Total Cost of Ownership) including management costs and access control. It has been attracting attention from the viewpoint of improving security.
医用画像読影システムにおいて、ネットワークを介して医用画像を参照する場合、ネットワークの状態、つまり、通信状況によりクライアントの機能が影響を受ける場合があり、シンクライアントは記憶装置を持たないという特徴から、この通信状況の影響が従来の記憶装置を持つ端末を利用した場合に比べて顕著に表れる。 In a medical image interpretation system, when referring to a medical image via a network, the client function may be affected by the network status, that is, the communication status, and the thin client does not have a storage device. The influence of the communication status appears more markedly than when using a terminal having a conventional storage device.
この通信状況の影響を極力減らす方法が検討されており、例えば、画像サイズを縮小したり（特許文献１）、画像の色数を減らしたり（特許文献２）、その他にもフレームを間引く、画像を圧縮するなどの方法により、ネットワークを流れるデータ量を減らし通信状況の影響を緩和する方法が用いられてきた。 A method for reducing the influence of the communication state as much as possible has been studied. For example, the image size is reduced (Patent Document 1), the number of colors of the image is reduced (Patent Document 2), and other frames are thinned out. A method of reducing the amount of data flowing through the network and mitigating the influence of the communication status has been used.
しかしながら、通信状況の影響を緩和することはできても完全に避けることはできない。そのため、ネットワークの輻輳により、サーバが配信している画像の枚数（フレーム数）の一部が欠落するなど正しく画像が表示されない、もしくは、サーバが配信した（クライアントで表示されているべき）画像と、実際にクライアントで表示されている画像との間に時間的なずれが発生するなどの影響が発生する可能性があるが、この影響を検知し解消することができないため画像が正しく表示されず、さらに、この影響が発生していることを検出することもできないため、画像が正しく表示されていないことをユーザが認識できずに、誤診を招く恐れがあり医療の質を低下させる原因ともなり得る。なお、以降では前記した時間的なずれ、もしくは、時間的なずれをフレーム数に換算したものを「乖離」と呼ぶ。 However, although the influence of the communication status can be reduced, it cannot be completely avoided. Therefore, due to network congestion, some images are not displayed correctly because some of the images (number of frames) delivered by the server are missing, or images delivered by the server (should be displayed on the client) However, there may be effects such as a time lag between the actual image displayed on the client, but this effect cannot be detected and resolved, so the image is not displayed correctly. Furthermore, since it is impossible to detect that this effect has occurred, the user cannot recognize that the image is not displayed correctly, which may cause a misdiagnosis, which may cause a reduction in medical quality. obtain. Hereinafter, the above-described time lag or the time lag converted into the number of frames is referred to as “deviation”.
この発明は上記の問題を解決するものであり、通信状況の影響を緩和しつつ、クライアントに画像が正しく配信されていることを検知し、問題が発生している場合を操作者に通知するとともに、配信された画像が欠落することなく表示されることを可能とした医用画像読影システムの提供を目的とする。 The present invention solves the above-mentioned problem, detects that the image is correctly distributed to the client while mitigating the influence of the communication status, and notifies the operator when the problem occurs. An object of the present invention is to provide a medical image interpretation system that enables a distributed image to be displayed without being lost.
上記課題を解決するために、請求項１に記載の発明は、ネットワークを介してクライアントに医用画像を配信する映像送信手段を備えたサーバと、医用画像を受信する映像受信手段と、前記映像受信手段が出力した前記医用画像を表示する表示部とを備えたクライアントで構成される医用画像読影システムであって、前記医用画像は前記サーバと前記クライアントとの間で画像を同期するための付帯情報を含み、前記クライアントは、更に、前記映像受信手段が受信した前記医用画像の前記付帯情報に基づいて、同期情報を前記サーバに送信する同期情報送信手段を備え、前記サーバは、前記クラアイアントから受信した前記同期情報に基づいて、前記クライアントが受信した医用画像と前記サーバが送信した医用画像との差分を検出する乖離検出手段と、前記差分が所定以上となったことを前記乖離検出手段が検出したときに前記医用画像の配信を停止し、その後、前記差分が所定以下となったことを前記乖離検出手段が検出したときに前記医用画像の配信を開始する動作停止・再開手段とを備えたことを特徴とする。
また、請求項３に記載の発明は、ネットワークを介してクライアントに医用画像を配信する映像送信手段を備えたサーバと、医用画像を受信し表示部に表示させる映像受信手段と、受信した画像を表示する表示部とを備えたクライアントで構成される医用画像読影システムであって、前記医用画像は前記サーバと前記クライアントとの間で画像を同期するための付帯情報を含み、前記サーバは、更に、前記クライアントに配信した医用画像に含まれる付帯情報を基に前記クラアイアントから送信される同期情報を受信し、前記クライアントが受信した医用画像と前記サーバが送信した医用画像との差分を検出する乖離検出手段を備え、前記クライアントは、更に、前記映像受信手段が受信した前記医用画像の前記付帯情報に基づいて、同期情報を前記乖離検出手段に送信する同期情報送信手段と、前記差分が所定以上となったことを前記乖離検出手段が検出したときに、前記乖離検出手段から通知を受け、前記差分が所定以上となったことを前記表示部に表示させる乖離情報表示制御手段とを備えたことを特徴とする。
また、請求項７に記載の発明は、請求項１乃至請求項６のいずれかに記載の医用画像読影システムであって、映像送信手段は、クライアントに対して１画面に複数種類の医用画像を表示させるために、前記複数種類の医用画像を配信可能に構成されており、更に、前記医用画像内で保護する領域を保護領域として特定する保護領域特定手段と、前記医用画像から保護領域内の画像を保護領域画像として抽出し、前記医用画像を前記保護領域画像と保護領域以外の範囲の画像とに分割する保護領域抽出手段とを備え、前記映像送信手段は、前記保護領域画像と前記保護領域以外の範囲の画像とを個別に送信し、前記映像受信手段は、前記保護領域画像と前記保護領域以外の範囲の画像とを結合することで前記医用画像を再現することを特徴とする。
また、請求項８に記載の発明は、請求項７に記載の医用画像読影システムであって、前記画質調整手段は、前記保護領域以外の範囲の画像を圧縮することを特徴とする。
In order to solve the above-mentioned problem, the invention according to claim 1 is a server including a video transmission unit that distributes a medical image to a client via a network, a video reception unit that receives a medical image, and the video reception A medical image interpretation system comprising a client having a display unit for displaying the medical image output by the means, wherein the medical image is supplementary information for synchronizing the image between the server and the client The client further includes synchronization information transmitting means for transmitting synchronization information to the server based on the supplementary information of the medical image received by the video receiving means. Based on the received synchronization information, the difference between the medical image received by the client and the medical image transmitted by the server is detected. When the divergence detection means detects that the difference is equal to or greater than a predetermined value, the distribution detection unit detects that the difference is equal to or less than the predetermined value. And an operation stop / restart means for starting delivery of the medical image when the medical image is received.
According to a third aspect of the present invention, there is provided a server including a video transmission unit that distributes a medical image to a client via a network, a video reception unit that receives a medical image and displays the medical image on a display unit, and a received image. A medical image interpretation system comprising a client having a display unit for displaying, wherein the medical image includes supplementary information for synchronizing an image between the server and the client, the server further comprising: Receiving synchronization information transmitted from the client based on supplementary information included in the medical image distributed to the client, and detecting a difference between the medical image received by the client and the medical image transmitted by the server Divergence detection means, and the client further includes synchronization information based on the supplementary information of the medical image received by the video reception means. When the deviation detection unit detects that the difference is equal to or greater than a predetermined value, the synchronization information transmission unit transmits a notification to the deviation detection unit, and receives the notification from the deviation detection unit. And a divergence information display control means for displaying the fact on the display unit.
The invention according to claim 7 is the medical image interpretation system according to any one of claims 1 to 6, wherein the video transmission means displays a plurality of types of medical images on one screen for the client. In order to display, the plurality of types of medical images can be distributed, and further, a protection area specifying means for specifying an area to be protected in the medical image as a protection area, and a region within the protection area from the medical image. A protection area extraction unit that extracts an image as a protection area image and divides the medical image into the protection area image and an image in a range other than the protection area, and the video transmission unit includes the protection area image and the protection area An image in a range other than the region is individually transmitted, and the video receiving unit reproduces the medical image by combining the protected region image and an image in a range other than the protected region. .
The invention according to claim 8 is the medical image interpretation system according to claim 7, wherein the image quality adjusting means compresses an image in a range other than the protected area.
本発明によれば、クライアントは、サーバから送信された医用画像に含まれる付帯情報をサーバに送信し、サーバは、クライアントから付帯情報を受信することで医用画像が正しく送信されていることを確認するとともに、送信した医用画像の付帯情報と、クライアントから受信した付帯情報とを逐次比較することで、配信した医用画像と、クライアントが受信した医用画像との時間的な差分から乖離を検出することが可能となる。これにより、検出した乖離の発生をユーザに報知したり、医用画像の配信を停止することで乖離の拡大を防止することが可能となる。 According to the present invention, the client transmits the supplementary information included in the medical image transmitted from the server to the server, and the server confirms that the medical image is correctly transmitted by receiving the supplementary information from the client. At the same time, by sequentially comparing the incidental information of the transmitted medical image and the incidental information received from the client, it is possible to detect a divergence from the temporal difference between the distributed medical image and the medical image received by the client. Is possible. Thereby, it is possible to prevent the spread of the divergence by notifying the user of the occurrence of the detected divergence or stopping the distribution of the medical image.
更に、サーバが、配信する医用画像で保護する領域を保護領域画像として抽出し、保護領域以外の画像のみ圧縮したうえで、保護領域画像と保護領域以外の画像とを個別に送信し、クライアントが保護領域画像と保護領域以外の画像とを結合することで、保護領域画像の画質を落とすことなく通信状況の影響を緩和することが可能となり、誤表示や情報の欠落に伴う誤診の発生を防止することが可能となる。 Further, the server extracts the area protected by the medical image to be distributed as the protected area image, compresses only the image other than the protected area, and individually transmits the protected area image and the image other than the protected area. Combining protected area images and images other than protected areas can mitigate the impact of communication conditions without degrading the image quality of the protected area images, and prevent the occurrence of misdiagnosis due to erroneous display or missing information. It becomes possible to do.
（実施形態１）
以下、本発明の実施形態１に係る医用画像読影システムについて図１を参照しながら説明する。本実施形態に係る医用画像読影システムは、医用画像を配信するサーバであるサーバ１と、サーバから受信した医用画像を表示部に表示するクライアントであるクライアント５とがネットワークを介して接続されて構成される。
(Embodiment 1)
Hereinafter, a medical image interpretation system according to Embodiment 1 of the present invention will be described with reference to FIG. The medical image interpretation system according to this embodiment is configured by connecting a server 1 that is a server that distributes medical images and a client 5 that is a client that displays medical images received from the server on a display unit via a network. Is done.
前記サーバ１は、医用画像を生成するアプリケーションを実行するアプリケーション実行部１０と、アプリケーション実行部１０が出力した１又は複数の医用画像を受け表示画面として視認可能に配置する映像生成手段１１と、各医用画像をクライアント５に配信する映像送信手段１２と、乖離検出手段１３と、動作停止・再開手段１４と、制御部１５とを有し、前記映像送信手段１２は、データ送信インタフェース１２０と、画質調整手段１２１と、保護領域特定手段１２２と、保護領域抽出手段１２３とからなる。 The server 1 includes an application execution unit 10 that executes an application that generates a medical image, a video generation unit 11 that receives and displays one or a plurality of medical images output from the application execution unit 10 as a display screen, The video transmission means 12 for delivering the medical image to the client 5, the deviation detection means 13, the operation stop / restart means 14, and the control unit 15, the video transmission means 12, the data transmission interface 120, the image quality The adjustment unit 121 includes a protection region specifying unit 122 and a protection region extraction unit 123.
また、前記クライアント５は、操作部５０と、サーバから配信される医用画像のデータを受信する映像受信手段５１と、映像受信手段５１が受信した医用画像を受けて視認可能に表示する表示部５２と、同期情報送信手段５３と、乖離情報表示制御手段５４とから構成されている。 The client 5 includes an operation unit 50, a video receiving unit 51 that receives medical image data distributed from the server, and a display unit 52 that receives the medical image received by the video receiving unit 51 and displays the medical image in a visible manner. And synchronization information transmission means 53 and deviation information display control means 54.
次に、前記各部（手段）の動作と各部（手段）間の信号もしくはデータの流れについて、「サーバからの医用画像の配信」、「クライアントでの医用画像の表示」、「映像の乖離の検出と制御」の３点の動作態様に分けて、動作態様ごとに説明する。 Next, regarding the operation of each unit (means) and the flow of signals or data between the respective units (means), “distribution of medical images from the server”, “display of medical images at the client”, “detection of video divergence” Each operation mode will be described by dividing it into three operation modes: and control.
（サーバからの医用画像の配信）
まず、本実施形態に係る医用画像読影システムにおいて、サーバがクライアントに医用画像（以降、この医用画像を「映像」と呼ぶ場合がある）を配信するまでの動作態様に関する構成と動作について説明する。
(Distribution of medical images from the server)
First, in the medical image interpretation system according to the present embodiment, the configuration and operation related to the operation mode until the server distributes a medical image (hereinafter, this medical image may be referred to as “video”) to the client will be described.
アプリケーション実行部１０は、複数種類の画像を生成するアプリケーションを有し、後述する制御部１５からの指示に基づいて１又は複数種類の画像を生成する。 The application execution unit 10 includes an application that generates a plurality of types of images, and generates one or a plurality of types of images based on instructions from the control unit 15 described later.
映像生成手段１１は、アプリケーション実行部１０で実行された複数のアプリケーションが作成し出力した個々の医用画像を一画面で視認可能にするために、実行したアプリケーションの数に応じて表示用の領域（以降、「表示ウィンドウ」と呼ぶ）を配置し、それぞれのアプリケーションが作成した映像を各表示ウィンドウに表示させるように画面を生成するための情報（以降、この情報を「画面構成情報」と呼ぶ）を生成する。 In order to make it possible to visually recognize individual medical images generated and output by a plurality of applications executed by the application execution unit 10 on a single screen, the video generation unit 11 displays a display area ( (Hereinafter referred to as “display window”) and information for generating a screen so that the video created by each application is displayed on each display window (hereinafter this information is referred to as “screen configuration information”) Is generated.
例えば図２は、４つのアプリケーションを実行させ、各アプリケーションが出力した医用画像をそれぞれ独立して表示させた画面を生成する場合の例である。このとき映像生成手段１１は、アプリケーションＡｐｌ１〜Ａｐｌ４のそれぞれが出力する医用画像Ｍ１〜Ｍ４を表示する領域として表示ウィンドウＷ１〜Ｗ４を生成し、例えば、医用画像Ｍ１と表示ウィンドウＷ１のように、医用画像Ｍ１〜Ｍ４と表示ウィンドウＷ１〜Ｗ４とをそれぞれ対応付ける。なお、表示ウィンドウの数は特に限定されず、映像生成手段１１が所定の条件（例えば、同時に実行するアプリケーションの数）に応じて変更しても良いし、操作部からの操作を受けて変更できるようにしても良い。 For example, FIG. 2 shows an example in which four applications are executed and a screen on which medical images output by each application are displayed independently is generated. At this time, the video generation means 11 generates display windows W1 to W4 as areas for displaying the medical images M1 to M4 output by the applications Ap1 to Ap4, respectively. For example, medical images M1 and display windows W1 are used for medical purposes. The images M1 to M4 are associated with the display windows W1 to W4, respectively. Note that the number of display windows is not particularly limited, and the video generation unit 11 may change it according to a predetermined condition (for example, the number of applications executed simultaneously), or can be changed in response to an operation from the operation unit. You may do it.
なお、以降は「フレーム」と記述した場合は医用画像を構成する各フレームを指すものとし、注釈なく単に「医用画像」と記述した場合は、アプリケーションごとに出力された医用画像を指し、１から複数枚のフレームにより構成されるものとする。また、「一連の医用画像」と記述した場合は、一画面を構成する複数の医用画像を総じて指すものとする。 Hereinafter, when “frame” is described, it refers to each frame constituting the medical image, and when simply described as “medical image” without annotation, it refers to the medical image output for each application. It is assumed to be composed of a plurality of frames. In addition, when “a series of medical images” is described, it refers to a plurality of medical images constituting one screen as a whole.
映像送信手段１２は、少なくとも医用画像のデータを送信するためのデータ送信インタフェース１２０を有し、一連の医用画像をクライアント（後述する映像受信手段５１）に送信する。 The video transmission means 12 has at least a data transmission interface 120 for transmitting medical image data, and transmits a series of medical images to a client (video reception means 51 described later).
更に、映像送信手段１２は、保護領域特定手段１２２と、保護領域抽出手段１２３と、画質調整手段１２１を含むことにより、一連の医用画像を、保護対象とする医用画像、つまり、クライアント側で正しく受信・表示されているかを確認し画質の劣化やコマ落ちを防止する対象となる医用画像（以降、「保護領域画像」と呼ぶ）と、保護対象としない医用画像（以降、「非保護領域画像」と呼ぶ）とをアプリケーション単位で区別して送信することで、通信状況の影響を緩和しつつ、保護領域画像の画質を劣化させることなく送信することが可能となる。以下に、映像送信手段１２の構成要素について図３をあわせて参照しながら説明する。図３は、一連の医用画像を保護領域画像と非保護領域画像に分類したうえで送信する仕組みを説明するための図である。 Furthermore, the video transmission means 12 includes a protected area specifying means 122, a protected area extracting means 123, and an image quality adjusting means 121, so that a series of medical images can be correctly processed on the protected side, that is, on the client side. Check whether the image is received and displayed, and prevent medical image deterioration and frame dropping (hereinafter referred to as “protected area image”) and non-protected medical image (hereinafter referred to as “non-protected area image”). ")" Is distinguished and transmitted on a per-application basis, and it is possible to transmit without degrading the image quality of the protected area image while mitigating the influence of the communication status. The components of the video transmission unit 12 will be described below with reference to FIG. FIG. 3 is a diagram for explaining a mechanism for transmitting a series of medical images after classifying them into protected area images and non-protected area images.
保護領域特定手段１２２は、アプリケーション実行部１０で実行されたアプリケーションが作成し出力した個々の医用画像のうち、保護対象とする医用画像、つまり、クライアント側で正しく受信・表示されているかを確認し画質の劣化やコマ落ちを防止する医用画像を特定する（図３、Ｓ１）。保護対象とする医用画像は、保護領域特定手段１２２が、例えば経験的によく使われている医用画像を、デフォルトとしてあらかじめ特定するようにしても良いし、操作インタフェースとして操作部５０を設け、操作部５０からの操作により指定できるようにしても良い。 The protected area specifying unit 122 confirms whether the medical image to be protected among the individual medical images created and output by the application executed by the application execution unit 10, that is, whether the client side has correctly received and displayed it. A medical image that prevents image quality deterioration and frame dropping is specified (FIG. 3, S1). For the medical image to be protected, the protection area specifying unit 122 may specify, for example, a medical image that is often used empirically as a default, or an operation unit 50 is provided as an operation interface. It may be specified by an operation from the unit 50.
保護領域抽出手段１２３は、映像生成手段１１で作成した一連の医用画像から、保護領域特定手段１２２で特定された保護対象とする医用画像を保護領域画像として抽出することで、一連の医用画像を表示ウィンドウごと（アプリケーションが出力した医用画像ごと）に保護領域画像と非保護領域画像とに分類する。 The protected area extracting unit 123 extracts a medical image to be protected specified by the protected area specifying unit 122 as a protected area image from the series of medical images created by the video generating unit 11, thereby obtaining a series of medical images. Each display window (each medical image output by the application) is classified into a protected area image and a non-protected area image.
保護領域画像を構成する各フレームには、各フレームを正しい順序で表示するための一連情報が付帯される。クライアントは、この一連情報をもとに保護領域画像の各フレームを表示する。これにより、クライアントが各フレームを表示する順序とは異なる順番で各フレームのデータを受信した場合でも、正しい順序で各フレームを表示することが可能となる。そのため映像送信手段１２は、クライアントに配信する医用画像の各フレームを必ずしも表示する順番に送信する必要はなくなる。なお、一連情報をもとに各フレームを表示する仕組みは、一般的に動画配信等で使用されている技術を応用可能である。 A series of information for displaying the frames in the correct order is attached to each frame constituting the protected area image. The client displays each frame of the protected area image based on this series of information. Thereby, even when the data of each frame is received in an order different from the order in which each frame is displayed by the client, each frame can be displayed in the correct order. Therefore, the video transmission unit 12 does not necessarily have to transmit each frame of the medical image to be distributed to the client in the display order. In addition, as a mechanism for displaying each frame based on a series of information, a technique generally used in moving image distribution or the like can be applied.
保護領域抽出手段１２３は、抽出した保護領域画像を後述するデータ送信インタフェース１２０にクライアントへ送信させる。この際に、保護領域画像を構成する各フレームに、各フレームをクライアントが正しく受信したことを確認するための識別情報を付帯し、クライアントに返送させる（以降、クライアントがサーバに返送する識別情報を「同期情報」と呼ぶ）。また、保護領域画像に付帯した識別情報を後述する乖離検出手段１３に通知する。乖離検出手段１３は、この識別情報とクライアントから返送される同期情報とを比較することで、識別情報に対応するフレームがクライアントで正しく受信されたことを確認する（詳細は後述する）。なお、前述した一連情報を識別情報として代用する構成としても良い。 The protected area extraction unit 123 causes the data transmission interface 120 described later to transmit the extracted protected area image to the client. At this time, identification information for confirming that each frame has been correctly received by the client is attached to each frame constituting the protected area image and returned to the client (hereinafter, the identification information to be returned to the server by the client). Called "synchronization information"). Also, the identification information attached to the protected area image is notified to the divergence detection means 13 described later. The deviation detection unit 13 compares the identification information with the synchronization information returned from the client to confirm that the frame corresponding to the identification information has been correctly received by the client (details will be described later). Note that the series of information described above may be substituted for the identification information.
また、保護領域抽出手段１２３は、非保護領域画像を後述する画質調整手段１２１にデータを圧縮させたうえで、データ送信インタフェース１２０にクライアントへ送信させる。なお、非保護領域画像を圧縮する必要がない場合は、画質調整手段１２１を介さず、データ送信インタフェース１２０に送信させる構成としても良い。 In addition, the protected area extracting unit 123 causes the data transmission interface 120 to transmit the non-protected area image to the client after the image quality adjusting unit 121 (to be described later) compresses the data. Note that, when it is not necessary to compress the unprotected area image, the data transmission interface 120 may be configured to transmit the image without using the image quality adjustment unit 121.
画質調整手段１２１は、保護領域抽出手段１２３から非保護領域画像を受信し、データのサイズを削減するために受信した非保護領域画像を圧縮する（図３、Ｓ２Ｂ）。画像を圧縮する方法としては、例えば、（jpeg等のように）データの形式を変更する、色数を減らす、フレームを間引く等の、一般的に知られている技術を応用可能である。その後、画質調整手段１２１は、圧縮した非保護領域画像をデータ送信インタフェース１２０にクライアントへ送信させる。 The image quality adjusting unit 121 receives the non-protected area image from the protected area extracting unit 123 and compresses the received non-protected area image in order to reduce the data size (FIG. 3, S2B). As a method for compressing an image, generally known techniques such as changing the data format (such as jpeg), reducing the number of colors, and thinning out frames can be applied. Thereafter, the image quality adjustment unit 121 causes the data transmission interface 120 to transmit the compressed unprotected area image to the client.
データ送信インタフェース１２０は、保護領域画像又は非保護領域画像を含む医用画像をクライアント（後述する映像受信手段５１）に送信するための手段を有する。データ送信インタフェース１２０は、データの送信方法として、データが送信・受信されていることを確認することで信頼性を高めた通信方式（例えば、ＴＣＰ（Transmission Control Protocol））と、データが送信・受信されていることは確認しないが転送効率（データ比率）を高めた通信方式（例えば、ＵＤＰ（User Datagram Protocol））とを用途により切り換えて使用する。 The data transmission interface 120 includes means for transmitting a medical image including a protected area image or a non-protected area image to a client (video receiving means 51 described later). The data transmission interface 120 has a communication method (for example, TCP (Transmission Control Protocol)) with improved reliability by confirming that data is transmitted / received as a data transmission method, and data transmission / reception. However, the communication method (for example, UDP (User Datagram Protocol)) with improved transfer efficiency (data ratio) is switched depending on the application.
例えば、保護領域画像をクライアントに送信する場合は、信頼性を高めた通信方式を使用し保護領域画像が正しく送信・受信されていることを確認する（図３、Ｓ２Ａ）。これにより、クライアントがデータを受信したことを確認が取れない場合に、該当する保護領域画像のデータを再送するといった制御を行うことが可能となる。 For example, when a protected area image is transmitted to the client, it is confirmed that the protected area image is correctly transmitted / received using a communication method with improved reliability (FIG. 3, S2A). As a result, when the client cannot confirm that the data has been received, it is possible to perform control such as retransmitting the data of the corresponding protected area image.
また、非保護領域画像のように、多少コマ落ちしても良い等、表示画像に高度な信頼性を必要としない画像をクライアントに送信する場合は、転送効率を高めた通信方式を使用することで、データサイズを小さくし通信状況の影響を緩和することが可能となる（図３、Ｓ２Ｂ）。 Also, when sending images that do not require high reliability to the display image, such as unprotected area images, it is possible to drop some frames, use a communication method with improved transfer efficiency. Thus, it is possible to reduce the data size and reduce the influence of the communication status (FIG. 3, S2B).
なお、データ送信インタフェース１２０は、信頼性を高めた通信方式による送信と転送効率を高めた通信方式による送信とをアプリケーションが出力した医用画像単位で個別に制御することが可能であり、これにより保護領域画像と非保護領域画像とを個々に独立した制御で送信することが可能となる。 Note that the data transmission interface 120 can individually control transmission by a communication method with improved reliability and transmission by a communication method with improved transfer efficiency for each medical image output by the application, thereby protecting the data transmission interface 120. The area image and the non-protected area image can be transmitted with independent control.
（クライアントでの医用画像の表示）
次に、サーバ（データ送信インタフェース１２０）から送信される画像をクライアントで表示する動作態様に関する構成と動作について説明する。
(Displaying medical images on the client)
Next, a configuration and operation related to an operation mode in which an image transmitted from the server (data transmission interface 120) is displayed on the client will be described.
映像受信手段５１は、データ送信インタフェース１２０から一連の医用画像を受信し、一連の医用画像を構成するアプリケーションが出力した各医用画像を、あわせて受信した画面構成情報をもとに配置することで画面を構成し、所定のフォーマットに従い表示部５２に表示させる。画面を構成する際に、各医用画像は必ずしも同期している必要はなく、各医用画像を構成するフレームが独立して表示されるように制御しても良い。 The video receiving means 51 receives a series of medical images from the data transmission interface 120, and arranges each medical image output by an application constituting the series of medical images based on the received screen configuration information. A screen is configured and displayed on the display unit 52 according to a predetermined format. When configuring the screen, the medical images do not necessarily have to be synchronized, and control may be performed so that the frames constituting each medical image are displayed independently.
データ送信インタフェース１２０が医用画像を保護領域画像と非保護領域画像とに分けて送信する場合も同様に、受信した非保護領域画像と保護領域画像とを画面構成情報をもとに配置し構成した画面を表示部５２に表示させる（図３、Ｓ３）。 Similarly, when the data transmission interface 120 transmits a medical image separately into a protected area image and a non-protected area image, the received non-protected area image and the protected area image are arranged and configured based on the screen configuration information. A screen is displayed on the display part 52 (FIG. 3, S3).
映像受信手段５１は、保護領域画像をコマ落ちなく正しく表示するために、保護領域画像の各フレームに付帯された一連情報をもとに正しい順序で保護領域画像を再生・表示する。保護領域画像における特定のフレームのデータが受信できない場合、保護領域画像の再生を一時停止し以降のフレームの表示を停止するようにしても良い。再生を一時停止した場合は、映像受信手段５１が受信できていなかったフレームのデータを受信した際に再生を再開する構成としても良いし、受信できていなかったフレームのデータを受信した後に、操作者の操作を受けて再生を再開するようにしても良い。 The video receiving means 51 reproduces and displays the protection area images in the correct order based on a series of information attached to each frame of the protection area image in order to correctly display the protection area image without dropping frames. When the data of a specific frame in the protected area image cannot be received, the reproduction of the protected area image may be paused and the display of the subsequent frames may be stopped. When playback is paused, the video receiving means 51 may be configured to resume playback when it receives data of frames that could not be received, or after receiving data of frames that could not be received, Playback may be resumed in response to the user's operation.
保護領域画像の再生・表示について具体的に例をあげて説明する。映像受信手段５１が、Ｆ１、Ｆ２、Ｆ３の順に表示する保護領域画像のフレームを、Ｆ１、Ｆ３、Ｆ２の順に受信したとする。映像受信手段５１はフレームＦ１を受信したとき、一連番号をもとに表示順として正しいと判断できるため、受信したフレームＦ１を再生し表示部５２に表示させる。次に、フレームＦ３を受信した場合、一連番号をもとに本来表示すべきフレームＦ２とは異なるため、一度再生を停止しこの時点でフレームＦ３を表示させない。その後、本来再生すべきフレームＦ２を受信したタイミングで、再生を再開しフレームＦ２を表示部５２に表示させるとともに、フレームＦ２に次いで、既に受信したフレームＦ２の次に表示すべきフレームＦ３を表示部５２に表示させる。本制御により、一連情報の順でフレームが表示されるため、コマ落ちの発生を防止することが可能となる。 The reproduction / display of the protected area image will be described with a specific example. It is assumed that the video receiving means 51 has received frames of protected area images to be displayed in the order of F1, F2, and F3 in the order of F1, F3, and F2. When receiving the frame F1, the video receiving means 51 can determine that the display order is correct on the basis of the serial number, so that the received frame F1 is reproduced and displayed on the display unit 52. Next, when the frame F3 is received, since it is different from the frame F2 that should be originally displayed based on the serial number, the reproduction is stopped once and the frame F3 is not displayed at this time. Thereafter, at the timing when the frame F2 to be originally reproduced is received, the reproduction is resumed and the frame F2 is displayed on the display unit 52. Next to the frame F2, the frame F3 to be displayed next to the already received frame F2 is displayed on the display unit. 52 is displayed. By this control, frames are displayed in the order of a series of information, so that it is possible to prevent frame dropping.
また、映像受信手段５１は、非保護領域画像における特定のフレームのデータが受信できない場合、前回受信した最も新しい画像（フレーム）を表示部５２に表示させる。これは、単位時間あたりに表示されるフレーム数について、非保護領域画像のフレーム数が保護領域画像のフレーム数より少ない場合に、非保護領域画像と保護領域画像とのフレーム数の差を補う場合も同様である。非保護領域画像と保護領域画像との単位時間あたりに表示されるフレーム数の差を補う場合の動作について図４を用いて更に詳しく説明する。図４は、保護領域画像と非保護領域画像に分類した各医用画像をクライアントで再生する仕組みを説明するための図である。 Further, when the data of a specific frame in the non-protected area image cannot be received, the video receiving unit 51 displays the latest image (frame) received last time on the display unit 52. This is when the number of frames displayed per unit time is less than the number of frames in the protected area image when the number of frames in the unprotected area image is less than the number of frames in the protected area image. Is the same. The operation for compensating for the difference in the number of frames displayed per unit time between the non-protected area image and the protected area image will be described in more detail with reference to FIG. FIG. 4 is a diagram for explaining a mechanism for reproducing, on the client, each medical image classified into a protected area image and a non-protected area image.
図４の例では、保護領域画像のフレーム数ｎに対し、非保護領域画像のフレーム数をｎ／４とした場合、つまり、保護領域画像を４フレーム表示する間に非保護領域画像を１フレーム表示する場合の例である。 In the example of FIG. 4, when the number of frames of the non-protected area image is n / 4 with respect to the number of frames n of the protected area image, that is, one frame of the non-protected area image is displayed while four frames of the protected area image are displayed. It is an example in the case of displaying.
図４の例では、フレームＦ１では保護領域画像のフレームＦＡ１と非保護領域画像のフレームＦＢ１とを結合し表示画面を生成する。フレームＦ２、Ｆ３、Ｆ４ではそれぞれ保護領域画像のフレームをＦＡ２、ＦＡ３、ＦＡ４と順次更新していくが、その間、非保護領域画像のフレームはフレームＦ１で表示したフレームＦＢ１で代用する。 In the example of FIG. 4, the frame F1 combines the frame FA1 of the protected area image and the frame FB1 of the non-protected area image to generate a display screen. In the frames F2, F3, and F4, the frames of the protected area image are sequentially updated as FA2, FA3, and FA4, respectively, while the frame of the non-protected area image is replaced with the frame FB1 displayed in the frame F1.
映像受信手段５１による保護領域画像及び非保護領域画像の再生・表示はアプリケーションが出力した医用画像ごとに独立して制御しても良いし、アプリケーションが出力した各医用画像を同期させるように制御しても良い。例えば、非保護領域画像の再生・表示を保護領域画像の再生・表示に連動させ、保護領域画像を停止した場合はあわせて非保護領域画像を停止させるように制御しても良い。 The reproduction / display of the protected area image and the non-protected area image by the video receiving means 51 may be controlled independently for each medical image output by the application, or controlled so that each medical image output by the application is synchronized. May be. For example, the reproduction / display of the non-protected area image may be linked to the reproduction / display of the protected area image, and when the protected area image is stopped, the non-protected area image may be stopped.
図４を例に説明すると、例えば、フレームＦ５を表示する際に保護領域画像のフレームＦＡ５を受信できなかった場合、保護領域画像の再生・表示を一時停止するが、非保護領域画像のフレームＦＢ５を受信できなかった場合は、非保護領域画像の再生・表示を保護領域画像と同様に停止しても良いし、停止せずに前回受信した最新のフレームであるフレームＦＢ１で代用するようにしても良い。 Referring to FIG. 4 as an example, when the frame F5 of the protected area image cannot be received when the frame F5 is displayed, for example, the reproduction / display of the protected area image is paused, but the frame FB5 of the non-protected area image is displayed. Can be stopped in the same manner as the protected area image, or the frame FB1, which is the latest frame received last time, can be substituted without stopping. Also good.
なお、図４の例では、動作内容を説明するために保護領域画像と非保護領域画像とが同期して動作している場合を例として説明しているが、表示ウィンドウに表示される各医用画像を必ずしも同期して動作させる必要はなく、保護領域画像と非保護領域画像とを連動させる等の同期した動作が前提となっている場合を除き、アプリケーションが出力した医用画像の単位で独立して動作させることも可能である。 In the example of FIG. 4, the case where the protected area image and the non-protected area image are operated in synchronization is described as an example in order to explain the operation content, but each medical image displayed in the display window is described. It is not always necessary to operate the images synchronously. Unless the synchronized operation such as linking the protected area image and the non-protected area image is assumed, it is independent for each medical image output by the application. It is also possible to operate.
また、映像受信手段５１は、既に受信したフレームを再度受信した場合、例えば、クライアントが保護領域画像の一部のフレームを受信したことをサーバに通知したにも関わらず、サーバが確認できず再度対応する保護領域画像のフレームを送信した場合、再度受信したフレームを破棄することで重複して表示させることを避ける構成としても良いし、再度受信したフレームを表示部５２に再度表示させる構成としても良い。 Further, when the video receiving means 51 receives the already received frame again, for example, the client cannot notify the server that the client has received a part of the frame of the protected area image and cannot confirm again. When a frame of a corresponding protected area image is transmitted, it may be configured to avoid displaying it again by discarding the received frame again, or to display the received frame again on the display unit 52 good.
（映像の乖離の検出と制御）
次に、クライアントで保護領域画像を正しく受信したことを確認し、サーバが配信した画像とクライアントが受信した画像の乖離を検出したうえで、検出した乖離をもとに医用画像の配信を制御する動作対象に関する構成と動作について説明する。
(Detection and control of video divergence)
Next, after confirming that the protected area image has been correctly received by the client, and detecting the divergence between the image distributed by the server and the image received by the client, the distribution of the medical image is controlled based on the detected divergence. The configuration and operation related to the operation target will be described.
同期情報送信手段５３は、サーバから受信した保護領域画像の各フレームから識別情報を抽出し、抽出した識別情報をサーバ（後述する乖離検出手段１３）に同期情報として送信する。この時、各フレームの順序を意識せずに識別情報を抽出し同期情報としてサーバに送信する構成としても良いし、保護領域画像の各フレームに付帯された一連情報をもとに識別情報を同期情報としてフレームの並び順にサーバに送信する構成としても良い。 The synchronization information transmission unit 53 extracts identification information from each frame of the protected area image received from the server, and transmits the extracted identification information to the server (a divergence detection unit 13 described later) as synchronization information. At this time, the identification information may be extracted without being aware of the order of each frame and transmitted to the server as synchronization information, or the identification information is synchronized based on a series of information attached to each frame of the protected area image. The information may be transmitted to the server in the order of the frames.
乖離検出手段１３は、同期情報送信手段５３から同期情報を受信することで、該同期情報として送信された識別情報が付帯されていたフレームがクライアントで正しく受信されたことを確認する。 The deviation detection unit 13 receives the synchronization information from the synchronization information transmission unit 53, thereby confirming that the frame attached with the identification information transmitted as the synchronization information is correctly received by the client.
また、乖離検出手段１３は、同期情報送信手段５３から受信した同期情報の一覧と、保護領域抽出手段１２３から取得した送信前の保護領域画像のフレームに付帯した識別情報の一覧とを比較することで、クライアントに配信したフレームのうち、クライアントで受信が確認されていないフレームを特定する。これにより乖離検出手段１３は、配信した保護領域画像のフレームのうちどのフレームまでがクライアントで受信され再生されたかを認識することが可能となる。 Further, the divergence detection unit 13 compares the list of synchronization information received from the synchronization information transmission unit 53 with the list of identification information attached to the frame of the protection area image before transmission acquired from the protection area extraction unit 123. Thus, among the frames delivered to the client, a frame that has not been confirmed to be received by the client is specified. As a result, the divergence detection means 13 can recognize up to which frame of the delivered protected area image has been received and reproduced by the client.
更に、保護領域抽出手段１２３から識別情報とあわせて同じフレームに付帯された一連情報を受信し、一連情報の順に受信が確認されていない同期情報を特定することで、配信されたフレーム数と受信が確認されたフレーム数の乖離を検出することが可能となり、更に、フレーム数として検出された乖離と、秒間に再生されるフレーム数の情報をもとに時間的乖離を算出することも可能である。 Further, a series of information attached to the same frame together with the identification information is received from the protection area extracting means 123, and the number of frames delivered and received by specifying synchronization information that has not been confirmed to be received in the order of the series information. It is possible to detect the discrepancy in the number of frames that have been confirmed, and it is also possible to calculate the temporal discrepancy based on the discrepancy detected as the number of frames and the information on the number of frames played per second. is there.
フレーム数の乖離について、図５を参照しながら具体的に説明する。図５は、サーバが配信した保護領域画像のフレーム数と、クライアントが受信したフレーム数に乖離が発生した状態を説明するための図である。 The difference in the number of frames will be specifically described with reference to FIG. FIG. 5 is a diagram for explaining a state in which there is a difference between the number of frames in the protected area image distributed by the server and the number of frames received by the client.
図５の（ａ）は、特定のフレーム数以降のフレームがクライアントで受信されたことをサーバが確認できていない状態を示している。サーバはｍ＋ｋ枚のフレームをクライアントに配信しているが、クライアントではｍ枚目のフレームまでしか受信されていない。このとき、サーバが配信し保護領域画像のフレーム数と、クライアントが受信したフレーム数には、ｋ枚のフレームの乖離が発生しており、秒間ｊ枚のフレームを表示する場合、時間的乖離はｋ／ｊ秒となる。 FIG. 5A shows a state where the server has not confirmed that frames after a certain number of frames have been received by the client. The server delivers m + k frames to the client, but the client has received only the mth frame. At this time, there is a gap of k frames between the number of frames of the protected area image distributed by the server and the number of frames received by the client. When j frames are displayed per second, the temporal difference is k / j seconds.
また、図５の（ｂ）のように、特定のフレームのみがクライアントで受信されたことをサーバが確認できていない場合は、同期情報送信手段５３が同期情報を送信する際の構成により、乖離の有無の判断を以下に示すように切り替えると良い。 Further, as shown in FIG. 5B, when the server cannot confirm that only a specific frame has been received by the client, there is a difference depending on the configuration when the synchronization information transmitting unit 53 transmits the synchronization information. It is better to switch the presence / absence determination as shown below.
同期情報送信手段５３が、受信した各フレームの順序を意識せずに識別情報を抽出し同期情報としてサーバ（乖離検出手段１３）に送信する構成の場合、乖離検出手段１３は、同期情報送信手段５３から同期情報を受信できていないフレームに関して、クライアントが該フレームを受信できていることを確認することができない。そのため、映像受信手段５１は、一連情報をもとに保護領域画像の各フレームを正しい順番で再生・表示するため、乖離検出手段１３は、同期情報送信手段５３から同期情報を受信できていないフレーム以降のフレームに関して、クライアントで正しく再生・表示されていないとみなし乖離が発生していると判断することが望ましい。 In the case where the synchronization information transmitting unit 53 is configured to extract the identification information without being aware of the order of the received frames and transmit the identification information to the server (deviation detection unit 13) as the synchronization information, the deviation detection unit 13 includes the synchronization information transmission unit. With respect to a frame for which synchronization information has not been received from 53, the client cannot confirm that the frame has been received. Therefore, since the video receiving means 51 reproduces and displays the frames of the protected area image in the correct order based on the series of information, the divergence detecting means 13 cannot receive the synchronization information from the synchronization information transmitting means 53. Regarding the subsequent frames, it is desirable that it is determined that a divergence has occurred because the client does not correctly reproduce and display the frames.
例えば図５の（ｂ）のようにフレームｍ＋１の同期情報を受信できていない状況において、乖離検出手段１３は、フレームｍ＋１をクライアントが受信したことを確認できないため、クライアントでフレームｍ＋１以降のフレームが再生・表示されず、ｋフレームの乖離が発生していると判断する。 For example, in the situation where the synchronization information of the frame m + 1 cannot be received as shown in FIG. 5B, the divergence detection means 13 cannot confirm that the client has received the frame m + 1. It is determined that a gap of k frames occurs without being reproduced / displayed.
同期情報送信手段５３が、受信した各フレームに付帯された識別情報を抽出し一連情報をもとに同期情報としてフレームの並び順にサーバ（乖離検出手段１３）に送信する構成の場合、乖離検出手段１３は、同期情報送信手段５３から同期情報を受信できていないフレームに関して、クライアントが該フレームを受信できていることを直接確認することはできないが、以降のフレームの同期情報を受信することで、同期情報を受信できていないフレームについてもクライアントで正しく受信されたとみなすことが可能となる。この場合、乖離検出手段１３は、同期情報を受信できていないフレームに関しても、以降に同期情報を受信したフレームと同様にクライアントで正しく再生・表示されたものとみなし、乖離が発生していないと判断することが可能となる。 In the case where the synchronization information transmitting unit 53 is configured to extract identification information attached to each received frame and transmit the identification information to the server (deviation detection unit 13) in the order of frames based on a series of information, the deviation detection unit 13 cannot directly confirm that the client has received the frame with respect to the frame for which the synchronization information has not been received from the synchronization information transmitting means 53, but by receiving the synchronization information of the subsequent frames, It is possible to consider that a frame for which synchronization information has not been received has been correctly received by the client. In this case, the divergence detection means 13 regards a frame for which synchronization information has not been received as being reproduced and displayed correctly on the client in the same manner as a frame from which the synchronization information has been received thereafter, and no divergence has occurred. It becomes possible to judge.
例えば図５の（ｂ）のようにフレームｍ＋１の同期情報を受信できていない状況において、乖離検出手段１３は、フレームｍ＋１をクライアントが受信したことを直接確認することはできないが、フレームｍ＋２以降の同期情報を受信できていることから、フレームｍ＋１をクライアントが受信したとみなし、乖離は発生していないと判断する。 For example, in the situation where the synchronization information of the frame m + 1 cannot be received as shown in FIG. 5B, the divergence detection means 13 cannot directly confirm that the client has received the frame m + 1, Since the synchronization information has been received, it is determined that the client has received the frame m + 1 and it is determined that no divergence has occurred.
乖離検出手段１３は、検出した乖離が所定以上となった場合に、クライアント（後述する乖離情報表示制御手段５４）に所定以上の乖離が発生していることを通知する。乖離の判断はフレームの枚数をもとに行っても良いし、単位時間あたりに表示されるフレーム数をもとに時間に換算して判断しても良い（以降、この時間に換算した乖離を「時間的乖離」と呼ぶ）。例えば、時間的乖離が１秒以上となったことを検知した場合に、乖離が１秒以上となったことを乖離情報表示制御手段５４に通知する。 The deviation detection unit 13 notifies the client (deviation information display control unit 54 described later) that a deviation greater than a predetermined value has occurred when the detected deviation exceeds a predetermined value. The deviation may be determined based on the number of frames, or may be determined by converting the time based on the number of frames displayed per unit time. Called “temporal divergence”). For example, when it is detected that the time divergence is 1 second or more, the divergence information display control means 54 is notified that the divergence is 1 second or more.
また、乖離検出手段１３は、検出した乖離が所定以上となった場合、又は、乖離が所定以上となった後に所定以下となった場合に、後述する動作停止・再開手段１４に通知する。 Further, the deviation detecting unit 13 notifies the operation stop / restarting unit 14 described later when the detected deviation becomes equal to or greater than a predetermined value or when the deviation becomes equal to or less than a predetermined value after becoming equal to or greater than a predetermined value.
また、乖離検出手段１３に計時手段（図示しない）を備え、検出した乖離が所定以上となった後、もしくは、所定以下となった後に、所定の時間（例えば１分間）が経過した場合に、乖離が所定以上もしくは所定以上となったことを検出後にさらに所定時間が経過したことを、後述する動作停止・再開手段１４に通知する構成としても良い。 Further, the deviation detecting means 13 is provided with a time measuring means (not shown), and when a predetermined time (for example, 1 minute) elapses after the detected deviation becomes equal to or greater than a predetermined value or less than a predetermined value, A configuration may be adopted in which the operation stop / restart means 14 described later is notified that a predetermined time has elapsed after detection that the deviation is greater than or equal to a predetermined value.
乖離情報表示制御手段５４は、乖離が所定以上となった場合に乖離検出手段１３から通知を受け、どの程度の乖離が発生しているかを含めた通知情報を表示部５２に表示させる。図６は、通知情報を画面にメッセージとして表示した場合の表示例である。 The divergence information display control unit 54 receives a notification from the divergence detection unit 13 when the divergence becomes equal to or greater than a predetermined value, and causes the display unit 52 to display notification information including how much divergence has occurred. FIG. 6 is a display example when the notification information is displayed as a message on the screen.
また、同期情報送信手段５３が同期情報を乖離検出手段１３に送信してから、あらかじめ設定された時間が経過しても応答が無い場合、サーバとクライアントとの間で通信が不可能な状態であると判断し、通信が不可能であることを通知情報として表示部５２に表示させる。応答の有無の判断については、例えばＴＣＰのような通信方式を使用することで確認することが可能である。 In addition, if there is no response after the preset time has elapsed since the synchronization information transmission means 53 sent the synchronization information to the deviation detection means 13, communication between the server and the client is impossible. It is determined that there is, and the display unit 52 is displayed as notification information that communication is impossible. The determination of the presence or absence of a response can be confirmed by using a communication method such as TCP, for example.
表示部５２は、表示インタフェースであり、映像受信手段５１から所定のフォーマットに加工された医用画像を受信し表示する。また、乖離情報表示制御手段５４から受信した通知情報を表示する。 The display unit 52 is a display interface, and receives and displays a medical image processed into a predetermined format from the video receiving unit 51. Further, the notification information received from the deviation information display control means 54 is displayed.
動作停止・再開手段１４は、乖離検出手段１３からの通知を受けて、制御部１５に医用画像の配信もしくは再生、又は、配信及び再生の双方を制御させる。例えば、乖離検出手段１３から検出した乖離が所定以上となった旨の通知を受けた場合は、乖離の拡大を避けるため、制御部１５に医用画像の配信を停止させるようにすると良い。また、このときにあわせて医用画像の再生を停止させても良い。 The operation stop / restart unit 14 receives the notification from the deviation detection unit 13 and causes the control unit 15 to control the distribution or reproduction of the medical image, or both the distribution and reproduction. For example, when a notification that the detected deviation is greater than or equal to a predetermined value is received from the deviation detection unit 13, the control unit 15 may stop the distribution of the medical image in order to avoid the expansion of the deviation. At this time, the reproduction of the medical image may be stopped.
更に、医用画像の配信を停止後に、乖離検出手段１３から検出した乖離が所定以下となった旨の通知を受けた場合は、制御部１５に医用画像の配信を再開させるようにすると良く、再生を停止させている場合はあわせて再開させるようにしても良い。 Furthermore, after receiving the notification that the deviation detected from the deviation detection unit 13 is equal to or less than a predetermined value after the delivery of the medical image is stopped, the control unit 15 may restart the delivery of the medical image. If it is stopped, it may be restarted together.
また、動作停止・再開手段１４は、乖離検出手段１３からの通知を受けて、制御部１５に配信した医用画像（フレーム）の一部もしくは全部を再送させるようにしても良い。例えば、乖離検出手段１３から検出した乖離が所定以上となった旨の通知を受けた場合、もしくは、医用画像の配信を停止後に、乖離検出手段１３から乖離が所定以上となったことを検出後に所定時間が経過した旨の通知を受けた場合に、乖離検出手段１３から再送の対象となる医用画像（フレーム）、つまり、クライアントで受信されたことの確認が取れていない医用画像（フレーム）を特定する情報（例えば、一連情報や同期情報）を受け、制御部１５に再送の対象となる医用画像（フレーム）を再送させるようにすると良い。 Further, the operation stopping / resuming unit 14 may receive part of the medical image (frame) distributed to the control unit 15 in response to the notification from the deviation detecting unit 13. For example, when the notification that the detected deviation is greater than or equal to a predetermined value is received from the deviation detection unit 13 or after the distribution of the medical image is stopped and the deviation detection unit 13 detects that the deviation is equal to or greater than the predetermined value When receiving a notification that the predetermined time has passed, a medical image (frame) to be retransmitted from the deviation detecting means 13, that is, a medical image (frame) that has not been confirmed to be received by the client. It is preferable to receive information to be identified (for example, series information or synchronization information) and cause the control unit 15 to retransmit a medical image (frame) to be retransmitted.
制御部１５は、医用画像を作成もしくは再生する等、アプリケーション実行部１０を制御することでクライアントに配信する医用画像を出力するアプリケーションの実行（起動や停止）を制御し、アプリケーション実行部１０にアプリケーションが出力したデータ（医用画像）を映像生成手段１１又は映像送信手段１２に出力させる。アプリケーションの実行の制御はＯＳ（Operating System）の機能を利用しても良いし、実行するアプリケーションに外部（制御部１５）からの指示を受けて起動・停止する機能を持たせる構成としても良い。 The control unit 15 controls execution (start or stop) of an application that outputs a medical image to be distributed to a client by controlling the application execution unit 10 such as creating or reproducing a medical image, and the application execution unit 10 The video generation means 11 or the video transmission means 12 outputs the data (medical image) output by the Control of application execution may use an OS (Operating System) function, or the application to be executed may have a function of starting and stopping in response to an instruction from the outside (control unit 15).
また、制御部１５は、映像生成手段１１又は映像送信手段１２の各機能の動作を制御する。例えば、動作停止・再開手段１４から医用画像の配信の停止が指示された場合、映像送信手段１２を制御しクライアント（映像受信手段５１）への医用画像の配信を停止する。この時、あわせて医用画像の再生を停止（アプリケーションを停止）するようにしても良い。医用画像の配信の再開が指示された場合は、映像送信手段１２を制御しクライアント（映像受信手段５１）への医用画像の配信を再開する。 Further, the control unit 15 controls the operation of each function of the video generation unit 11 or the video transmission unit 12. For example, when the stop of the medical image is instructed from the operation stop / restart unit 14, the video transmission unit 12 is controlled to stop the distribution of the medical image to the client (video receiving unit 51). At this time, the reproduction of the medical image may be stopped (the application is stopped). When an instruction to resume delivery of the medical image is given, the video transmission unit 12 is controlled to resume delivery of the medical image to the client (video reception unit 51).
また、動作停止・再開手段１４から、医用画像の再送が指示された場合、動作停止・再開手段１４から、再送の対象となるフレームを特定する情報（例えば、一連情報や同期情報）を取得し、再送するフレームを特定したうえで、映像送信手段１２を制御し該フレームを再送する。この時、必要に応じて、アプリケーションを起動もしくは再起動することで、該当するフレームを再度再生する構成としても良い。 In addition, when the operation stop / restart unit 14 instructs the retransmission of the medical image, the operation stop / restart unit 14 acquires information (for example, a series of information or synchronization information) that identifies a frame to be retransmitted. After identifying the frame to be retransmitted, the video transmission means 12 is controlled to retransmit the frame. At this time, if necessary, the application may be activated or restarted to reproduce the corresponding frame again.
以上により、サーバは、医用画像の各フレームに識別情報を付帯してクライアントに送信し、クライアントに識別情報を同期情報として返送させ、クライアントから受信した同期情報と、クライアントに配信したフレームに付帯された識別情報とを比較することで、クライアントがフレームを正しく受信していることをサーバ側で確認することが可能となる。 As described above, the server attaches identification information to each frame of the medical image and transmits it to the client, causes the client to return the identification information as synchronization information, and attaches it to the synchronization information received from the client and the frame delivered to the client. By comparing with the identification information, the server can confirm that the client has received the frame correctly.
また、クライアントから受信した同期情報と、クライアントに配信したフレームに付帯された識別情報とを逐次比較することで、サーバが配信した医用画像とクライアントが受信した医用画像との乖離を検出することが可能となる。 Further, it is possible to detect a discrepancy between the medical image distributed by the server and the medical image received by the client by sequentially comparing the synchronization information received from the client and the identification information attached to the frame distributed to the client. It becomes possible.
これらの効果により、例えば、サーバが配信した医用画像とクライアントが受信した医用画像との乖離を検出し、医用画像の配信を停止することで乖離の拡大を防止することが可能となり、さらに、配信を停止しても乖離が解消されない場合は医用画像を再送することで、確実にクライアントで医用画像をコマ落ちすることなく表示することが可能となる、誤診の発生を防止することが可能となる。 With these effects, for example, it is possible to detect the divergence between the medical image distributed by the server and the medical image received by the client, and to prevent the spread of the divergence by stopping the distribution of the medical image. If the divergence is not resolved even after stopping, the medical image can be retransmitted to ensure that the client can display the medical image without dropping frames, and the occurrence of misdiagnosis can be prevented. .
さらに、サーバから配信する医用画像を保護領域画像と非保護領域画像とに分類し画面構成情報とあわせてクライアントに送信し、クライアントで画面構成情報をもとに受信した保護領域画像と非保護領域画像と配置して画面を生成することで、保護領域画像（診断に使用する画像）を圧縮させず（画質を劣化させず）に送信しつつ、非保護領域画像（診断に使用していない画像）を圧縮して送信することでデータ量を削減することが可能となり、通信状況の影響を緩和することが可能となる。 Further, the medical images distributed from the server are classified into protected area images and non-protected area images, transmitted to the client together with the screen configuration information, and the protected area image and the non-protected area received based on the screen configuration information at the client. By generating a screen by arranging it with an image, a protected area image (an image used for diagnosis) is transmitted without being compressed (without degrading image quality), while an unprotected area image (an image not used for diagnosis) ) Can be reduced and the amount of data can be reduced, and the influence of the communication status can be mitigated.
１０ アプリケーション実行部 １１ 映像生成手段 １２ 映像送信手段
１３ 乖離検出手段 １４ 動作停止・再開手段 １５ 制御部
５０ 操作部 ５１ 映像受信手段 ５２ 表示部
５３ 同期情報送信手段 ５４ 乖離情報表示制御手段
１２０ データ送信インタフェース １２１ 画質調整手段
１２２ 保護領域特定手段 １２３ 保護領域抽出手段
DESCRIPTION OF SYMBOLS 10 Application execution part 11 Image | video production | generation means 12 Image | video transmission means 13 Deviation detection means 14 Operation stop / resumption means 15 Control part 50 Operation part 51 Image | video reception means 52 Display part 53 Synchronization information transmission means 54 Deviation information display control means 120 Data transmission interface 121 Image quality adjusting means 122 Protected area specifying means 123 Protected area extracting means
Claims (9)
前記医用画像は前記サーバと前記クライアントとの間で画像を同期するための付帯情報を含み、
前記クライアントは、更に、前記映像受信手段が受信した前記医用画像の前記付帯情報に基づいて、同期情報を前記サーバに送信する同期情報送信手段を備え、
前記サーバは、前記クラアイアントから受信した前記同期情報に基づいて、前記クライアントが受信した医用画像と前記サーバが送信した医用画像との差分を検出する乖離検出手段と、
前記差分が所定以上となったことを前記乖離検出手段が検出したときに前記医用画像の配信を停止し、その後、前記差分が所定以下となったことを前記乖離検出手段が検出したときに前記医用画像の配信を開始する動作停止・再開手段とを備えたことを特徴とする医用画像読影システム。 A client comprising a server comprising video transmission means for delivering a medical image to a client via a network, a video receiving means for receiving a medical image, and a display unit for displaying the medical image output by the video reception means A medical image interpretation system comprising:
The medical image includes incidental information for synchronizing an image between the server and the client,
The client further includes synchronization information transmitting means for transmitting synchronization information to the server based on the incidental information of the medical image received by the video receiving means,
The server is configured to detect a difference between the medical image received by the client and the medical image transmitted by the server based on the synchronization information received from the client;
When the divergence detection unit detects that the difference is equal to or greater than a predetermined value, the delivery of the medical image is stopped, and then, when the divergence detection unit detects that the difference is equal to or less than the predetermined value, A medical image interpretation system comprising operation stop / restart means for starting delivery of a medical image.
前記医用画像は前記サーバと前記クライアントとの間で画像を同期するための付帯情報を含み、
前記サーバは、更に、前記クライアントに配信した医用画像に含まれる付帯情報を基に前記クラアイアントから送信される同期情報を受信し、前記クライアントが受信した医用画像と前記サーバが送信した医用画像との差分を検出する乖離検出手段を備え、
前記クライアントは、更に、前記映像受信手段が受信した前記医用画像の前記付帯情報に基づいて、同期情報を前記乖離検出手段に送信する同期情報送信手段と、
前記差分が所定以上となったことを前記乖離検出手段が検出したときに、前記乖離検出手段から通知を受け、前記差分が所定以上となったことを前記表示部に表示させる乖離情報表示制御手段とを備えたことを特徴とする医用画像読影システム。 A server including a video transmission unit that distributes a medical image to a client via a network, a video reception unit that receives a medical image and displays the medical image on a display unit, and a client that includes a display unit that displays the received image A medical image interpretation system,
The medical image includes incidental information for synchronizing an image between the server and the client,
The server further receives synchronization information transmitted from the client based on supplementary information included in the medical image distributed to the client, and the medical image received by the client and the medical image transmitted by the server A deviation detecting means for detecting the difference between
The client further includes synchronization information transmitting means for transmitting synchronization information to the deviation detecting means based on the supplementary information of the medical image received by the video receiving means;
When the deviation detecting means detects that the difference is equal to or greater than a predetermined value, a deviation information display control means for receiving a notification from the deviation detecting means and displaying on the display unit that the difference is equal to or larger than a predetermined value. And a medical image interpretation system.
前記医用画像から保護領域内の画像を保護領域画像として抽出し、前記医用画像を前記保護領域画像と保護領域以外の範囲の画像とに分割する保護領域抽出手段とを備え、
前記映像送信手段は、前記保護領域画像と前記保護領域以外の範囲の画像とを個別に送信し、前記映像受信手段は、前記保護領域画像と前記保護領域以外の範囲の画像とを結合することで前記医用画像を再現することを特徴とする請求項１乃至請求項６のいずれかに記載の医用画像読影システム。 The video transmission means is configured to be capable of delivering the plurality of types of medical images so that the client can display a plurality of types of medical images on one screen, and further protects the area to be protected in the medical images. Protected area specifying means for specifying as an area;
A protection area extracting means for extracting an image in a protection area from the medical image as a protection area image and dividing the medical image into the protection area image and an image in a range other than the protection area;
The video transmission means individually transmits the protection area image and an image in a range other than the protection area, and the video reception means combines the protection area image and an image in a range other than the protection area. The medical image interpretation system according to claim 1, wherein the medical image is reproduced.
前記乖離検出手段は、前記保護領域画像から抽出した前記付帯情報と、前記同期情報送信手段から受信した前記同期情報とを比較することを特徴とする請求項７又は請求項８のいずれかに記載の医用画像読影システム。 The synchronization information transmitting means extracts the incidental information from the protected area image,
The said deviation detection means compares the said incidental information extracted from the said protection area image with the said synchronous information received from the said synchronous information transmission means, Either of Claim 7 or Claim 8 characterized by the above-mentioned. Medical image interpretation system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009175879A JP2011030108A (en) | 2009-07-28 | 2009-07-28 | Medical image reading system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009175879A JP2011030108A (en) | 2009-07-28 | 2009-07-28 | Medical image reading system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2011030108A true JP2011030108A (en) | 2011-02-10 |
Family
ID=43638276
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009175879A Pending JP2011030108A (en) | 2009-07-28 | 2009-07-28 | Medical image reading system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2011030108A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015046641A1 (en) * | 2013-09-26 | 2015-04-02 | 알피니언메디칼시스템 주식회사 | Medical image processor for telemedicine and remote medical diagnosis system comprising same |
| WO2015060500A1 (en) * | 2013-10-21 | 2015-04-30 | (주)헬스허브 | System and method for transmitting medical image |
| US9224203B2 (en) | 2013-01-18 | 2015-12-29 | Kabushiki Kaisha Toshiba | Medical image information system and medical image processing server |
| KR20180102605A (en) * | 2016-01-29 | 2018-09-17 | 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 | Image drawing methods, associated devices and systems |
| JP2020098964A (en) * | 2018-12-17 | 2020-06-25 | 株式会社Ｍｅｄｉ Ｐｌｕｓ | Medical video distribution system and medical video distribution method |
-
2009
- 2009-07-28 JP JP2009175879A patent/JP2011030108A/en active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9224203B2 (en) | 2013-01-18 | 2015-12-29 | Kabushiki Kaisha Toshiba | Medical image information system and medical image processing server |
| WO2015046641A1 (en) * | 2013-09-26 | 2015-04-02 | 알피니언메디칼시스템 주식회사 | Medical image processor for telemedicine and remote medical diagnosis system comprising same |
| WO2015060500A1 (en) * | 2013-10-21 | 2015-04-30 | (주)헬스허브 | System and method for transmitting medical image |
| KR20180102605A (en) * | 2016-01-29 | 2018-09-17 | 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 | Image drawing methods, associated devices and systems |
| KR102117180B1 (en) * | 2016-01-29 | 2020-05-29 | 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 | Image drawing methods, related devices and systems |
| JP2020098964A (en) * | 2018-12-17 | 2020-06-25 | 株式会社Ｍｅｄｉ Ｐｌｕｓ | Medical video distribution system and medical video distribution method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101536014B (en) | Embedded appliance for multimedia capture | |
| US7889261B2 (en) | Image capture and display control apparatus, image capture and display control method, and image capture and display system | |
| JP6894687B2 (en) | Image processing system, image processing device, control method, and program | |
| JP2011030108A (en) | Medical image reading system | |
| EP2713609A1 (en) | Dynamic delay handling in mobile live video production systems | |
| US20090254958A1 (en) | Video system | |
| US11910997B2 (en) | Apparatus, systems, and methods for intraoperative visualization | |
| US20220210295A1 (en) | Synchronous control device, synchronous control method, and synchronous control program | |
| US9224203B2 (en) | Medical image information system and medical image processing server | |
| EP2555517A1 (en) | Network video server and video control method thereof | |
| US11895349B2 (en) | Synchronous control device, synchronous control method, and synchronous control program | |
| CN102884804B (en) | The synchronous error bearing calibration of audio signal and vision signal and device | |
| JP2010056964A (en) | Receiving apparatus and control method thereof, program, and recording medium | |
| JP6971624B2 (en) | Information processing equipment, control methods, and programs | |
| US20190200057A1 (en) | Streaming system with a backup mechanism and a backup method thereof | |
| WO2014162748A1 (en) | Reception device and reception method | |
| JP2016038514A (en) | Display control device, display device, control method of display control device and display device and program thereof | |
| JP2012027780A (en) | Screen transfer device, screen receiver, screen transfer method and screen transfer program | |
| JP2004282340A (en) | Video data processing system and method, and video data processor | |
| JP4382739B2 (en) | Monitoring system | |
| US12063452B2 (en) | Control device, imaging system, and 3D model data generation method | |
| AU2014318577A1 (en) | Apparatus, system and method for consolidating and recording high definition surgical video with a surgical data overlay | |
| US11622101B2 (en) | Transmission processing apparatus, transmission processing method, and storage medium | |
| JP2011097486A (en) | Video signature system | |
| US20240249849A1 (en) | Hybrid media distribution for telehealth sessions |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120713 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130702 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130709 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130829 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130917 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20131210 |