JP3916025B2 - High resolution and general video recording optical disc, optical disc playback device and optical disc recording device - Google Patents
High resolution and general video recording optical disc, optical disc playback device and optical disc recording device Download PDFInfo
- Publication number
- JP3916025B2 JP3916025B2 JP24420198A JP24420198A JP3916025B2 JP 3916025 B2 JP3916025 B2 JP 3916025B2 JP 24420198 A JP24420198 A JP 24420198A JP 24420198 A JP24420198 A JP 24420198A JP 3916025 B2 JP3916025 B2 JP 3916025B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- video
- reproduction
- unit
- optical disc
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
- Television Signal Processing For Recording (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は画質映像および一般映像が記録された光ディスクおよび、その光ディスクの記録再生装置に関する。
【０００２】
【従来の技術】
従来、高画質映像を記録した光ディスクと再生装置としては、４８０Ｐ、７２０Ｐと呼ばれるプログレッシブを記録する方式が検討されている。また、光ディスクの再生制御方式のとしては１つのＭＰＥＧデコーダを用いた再生制御方式が知られていた。
【０００３】
【発明が解決しようとする課題】
まず、従来方式の第１の課題を述べる。従来の高画質映像記録型光ディスクを標準の再生装置で再生した場合、普通の画像は出力されない。高画質映像記録光ディスクは高画質対応再生装置でないと再生できない。このため、同じコンテンツの２種類を制作する必要があった。つまり従来の高画質光ディスクは通常映像との互換性がなかった。次に発明の目的を述べる。本発明の第１の目的は互換性をもつ高画質光ディスクおよび再生システムを提供することにある。
【０００４】
互換性の定義を明確にすると、丁度、過去のモノラルレコードとステレオレコードの関係の互換性である。つまり本発明の新しい立体光ディスクや高解像度ディスクは、既存のＤＶＤ等の再生装置では、通常解像度で出力され、本発明を用いた新しい再生装置では高解像度映像が出力される。
【０００５】
次に、第２の課題として再生制御方式の課題を述べる。従来の再生制御方式は１つのデコーダを用いて、一つのストリームを再生する方式であった。このため解像信号を２つのストリームを動きを止めることなく、シームレスに接続するためには、複雑なシステムが必要であった。第２の目的は、簡単な手順でシームレスに複数のストリームを接続する再生制御を提案することにある。
【０００６】
【課題を解決するための手段】
本発明の光ディスク再生装置は、光ディスクに記録された信号を再生する光ディスク再生装置であって、前記光ディスクには、映像信号の低周波成分を表す第１映像ストリームと前記映像信号のうち少なくとも高周波成分を表す第２映像ストリームとが少なくとも記録されており、前記第１映像ストリームは複数の第１インタリーブユニットを含み、前記第２映像ストリームは複数の第２インタリーブユニットを含み、前記複数の第１インタリーブユニットのそれぞれはｍ１個（ｍ１は１以上の整数）のＧＯＰを含み、前記複数の第２インタリーブユニットのそれぞれはｍ２個（ｍ２は１以上の整数）のＧＯＰを含み、前記光ディスク再生装置は、前記光ディスクに記録された前記第１映像ストリームと前記第２映像ストリームとを再生する再生部と、前記再生された第１映像ストリームを前記複数の第１インタリーブユニットに分解し、前記再生された第２映像ストリームを前記複数の第２インタリーブユニットに分解する分解部と、前記複数の第１インタリーブユニットを復号することにより、前記映像信号の前記低周波成分を表す第１再生信号を生成し、前記複数の第２インタリーブユニットを復号することにより、前記映像信号のうち少なくとも前記高周波成分を表す第２再生信号を生成する復号部と、前記第１再生信号と前記第２再生信号とを合成することにより、前記映像信号を生成する合成部と、前記第１再生信号と前記第２再生信号と前記映像信号とのうちの少なくとも１つを選択的に出力する出力部とを備えており、これにより上記目的が達成される。
【０００７】
前記複数の第１インタリーブユニットのそれぞれは、再生時間に関連する第１時間情報に対応づけられており、前記複数の第２インタリーブユニットのそれぞれは、再生時間に関連する第２時間情報に対応づけられていてもよい。
【０００８】
前記光ディスク再生装置は、基準時刻信号を生成する基準時刻信号生成部と、前記基準時刻信号と前記第１時間情報との差に応じて、前記第１再生信号の再生時刻を制御する第１再生制御部と、前記基準時刻信号と前記第２時間情報との差に応じて、前記第２再生信号の再生時刻を制御する第２再生制御部と、前記第１再生制御部に供給される前記基準時刻信号と前記第２再生制御部に供給される前記基準信号とが実質的に同一の時刻を表すように、前記基準時刻信号を補正する補正部とをさらに備えていてもよい。
【０００９】
前記補正部は、前記映像信号に同期して出力されるべき音声信号が再生されるべき時刻を示す音声再生時刻情報に基づいて、前記基準時刻信号を補正してもよい。
【００１０】
前記補正部は、前記第１再生信号が再生されるべき時刻を示す第１映像再生時刻情報および前記第２再生信号が再生されるべき時刻を示す第２映像再生時刻情報のうち少なくとも一方に基づいて、前記基準時刻信号を補正してもよい。
【００１１】
前記第１再生制御部は、前記第１再生信号のフレームをスキップし、もしくは繰り返して再生することにより、前記第１再生信号の再生時刻を制御し、前記第２再生制御部は、前記第２再生信号のフレームをスキップし、もしくは繰り返して再生することにより、前記第２再生信号の再生時刻を制御してもよい。
【００１２】
前記第１時間情報および前記第２時間情報のうち少なくとも一方は、ＰＴＳ、ＤＴＳおよびＳＣＲのうち少なくとも１つを含んでいてもよい。
【００１３】
前記第１再生信号は第１画素数に対応しており、前記第２再生信号は前記第１画素数より多い第２画素数に対応しており、前記合成部は、前記第１再生信号を、前記第２画素数に対応する変換信号に変換する変換器を備えており、前記映像信号は、前記変換信号と前記第２再生信号とを合成することによって得られてもよい。
【００１４】
前記光ディスクには、前記第１再生信号に対応する第１画素数を示す識別子がさらに記録されており、前記変換器は、前記識別子に応じて前記第１再生信号を前記変換信号に変換してもよい。
【００１５】
前記光ディスクには、前記第１再生信号に対応する第１画素数を示す識別子がさらに記録されており、前記光ディスク再生装置は、前記光ディスクの回転を制御する回転制御部をさらに備えており、前記回転制御部は、前記識別子に応じて前記光ディスクの回転を制御してもよい。
【００１６】
前記光ディスクには、前記映像信号が１秒あたり２４フレームから３０フレームのプログレシブ映像信号を符号化したものであることを示す識別子がさらに記録されており、前記出力部は、前記第１再生信号、前記第２再生信号および前記映像信号のうち少なくとも一方をフレーム信号に変換する変換器を備えており、前記出力部は、前記フレーム信号を重複して出力することにより、１秒あたり６０フレームのプログレシブ映像信号を出力してもよい。
【００１７】
前記光ディスク再生装置は、前記複数の第１インタリーブユニットと前記複数の第２インタリーブユニットとを格納するバッファメモリ部をさらに備えており、前記バッファメモリ部の容量は、前記第２インタリーブユニットに含まれるＧＯＰのデータ量以上であってもよい。
【００１８】
前記バッファメモリ部の容量は、１ＭＢ以上であってもよい。
本発明の光ディスクは、映像信号の低周波成分を表す第１映像ストリームと前記映像信号のうち少なくとも高周波成分を表す第２映像ストリームとが少なくとも記録されており、前記第１映像ストリームは複数の第１インタリーブユニットを含み、前記第２映像ストリームは複数の第２インタリーブユニットを含み、前記複数の第１インタリーブユニットのそれぞれはｍ１個（ｍ１は１以上の整数）のＧＯＰを含み、前記複数の第２インタリーブユニットのそれぞれはｍ２個（ｍ２は１以上の整数）のＧＯＰを含んでおり、これにより上記目的が達成される。
【００１９】
前記複数の第１インタリーブユニットのうちの１つの再生時間と前記複数の第２インタリーブユニットのうち対応する１つの再生時間とが実質的に等しくなるように、前記第１インタリーブユニットと前記第２インタリーブユニットとが構成されていてもよい。
本発明の光ディスク記録装置は、映像信号を、前記映像信号の低周波成分を表す第１映像信号と前記映像信号のうち少なくとも高周波成分を表す第２映像信号とに分離する分離部と、前記第１映像信号を符号化することにより、第１映像ストリームを生成し、前記第２映像信号を符号化することにより、第２映像ストリームを生成する符号化部であって、前記第１映像ストリームは複数の第１インタリーブユニットを含み、前記第２映像ストリームは複数の第２インタリーブユニットを含み、前記複数の第１インタリーブユニットのそれぞれはｍ１個（ｍ１は１以上の整数）のＧＯＰを含み、前記複数の第２インタリーブユニットのそれぞれはｍ２個（ｍ２は１以上の整数）のＧＯＰを含む、符号化部と、前記第１映像ストリームに含まれる前記複数の第１インタリーブユニットと前記第２映像ストリームに含まれる前記複数の第２インタリーブユニットとを選択的に出力する選択出力部と、前記選択出力部から出力される信号を光ディスクに記録する記録部とを備えており、これにより上記目的が達成される。
【００２０】
前記分離部は、前記第１映像ストリームを復号する復号器と、前記映像信号と前記復号器から出力される信号との差分を演算する差分演算器とを備えており、前記分離部は、前記差分演算器から出力される信号を前記第２映像信号として出力してもよい。
【００２１】
前記分離部は、前記映像信号を、前記映像信号に対応する第１画素数より少ない第２画素数に対応する第１変換信号に変換する第１変換器と、前記復号器から出力される信号を、前記復号器から出力される信号に対応する第２画素数より多い第１画素数に対応する第２変換信号に変換する第２変換器とをさらに備えており、前記分離部は、前記第１変換信号を前記第１映像信号として出力し、前記差分演算器は、前記映像信号と前記第２変換信号との差分を演算してもよい。
【００２２】
前記記録部は、前記第２映像信号が前記差分演算器から出力された信号であることを示す識別子を前記光ディスクにさらに記録してもよい。
【００２３】
前記記録部は、前記映像信号に対応する第１画素数を示す識別子を前記光ディスクにさらに記録してもよい。
【００２４】
前記記録部は、前記第１映像信号に対応する第２画素数を示す識別子を前記光ディスクにさらに記録してもよい。
本発明の光ディスク記録装置は、第１画素数に対応する符号化された第１映像ストリームと、前記第１画素数とは異なる第２画素数に対応する符号化された第２映像ストリームとを入力する入力部であって、前記第１映像ストリームは複数の第１インタリーブユニットを含み、前記第２映像ストリームは複数の第２インタリーブユニットを含み、前記複数の第１インタリーブユニットのそれぞれはｍ１個（ｍ１は１以上の整数）のＧＯＰを含み、前記複数の第２インタリーブユニットのそれぞれはｍ２個（ｍ２は１以上の整数）のＧＯＰを含む、入力部と、前記第１映像ストリームに含まれる前記複数の第１インタリーブユニットと前記第２映像ストリームに含まれる前記複数の第２インタリーブユニットとを選択的に出力する選択出力部と、前記選択出力部から出力される信号を光ディスクに記録する記録部とを備えており、これにより上記目的が達成される。
【００２５】
本発明の光ディスク再生装置は、光ディスクに記録された信号を再生する光ディスク再生装置であって、前記光ディスクには、複数の第１ＧＯＰを含む第１映像ストリームと複数の第２ＧＯＰを含む第２映像ストリームとが少なくとも記録されており、前記複数の第１ＧＯＰのそれぞれは複数のピクチャを含み、前記第２ＧＯＰのそれぞれは複数のピクチャを含み、前記光ディスク再生装置は、前記光ディスクに記録された前記第１映像ストリームと前記第２映像ストリームとを再生する再生部と、前記第１映像ストリームと前記第２映像ストリームとを復号する復号部と、再生制御情報に応じて、前記復号された第１映像ストリームと前記復号された第２映像ストリームとを選択的に出力する出力部とを備え、前記再生制御情報は、前記第１映像ストリームに含まれる前記複数の第１ＧＯＰのうち最後の第１ＧＯＰに含まれる第１ピクチャに続いて、前記第２映像ストリームに含まれる前記複数の第２ＧＯＰのうち先頭の第２ＧＯＰに含まれる第２ピクチャであって、前記先頭の第２ＧＯＰの先頭のピクチャとは異なる第２ピクチャを再生することを示しており、これにより上記目的が達成される。
【００２６】
前記復号部は、前記第１ピクチャの再生が終了した時点で前記第２ピクチャの復号が完了しているように、前記第２映像ストリームの復号を開始してもよい。
【００２７】
前記再生制御情報は、前記第１ピクチャの位置を示す情報ｔｓ１と、前記第２ピクチャの位置を示す情報ｔｓ２と、前記先頭の第２ＧＯＰの先頭ピクチャの位置を示す情報ｔｓＧとを含み、前記復号部は、ｔａ＝ｔｓ１−（ｔｓ２−ｔｓＧ）という計算式に従ってデコード開始位置ｔａを求め、前記デコード開始位置ｔａに基づいて前記第２映像ストリームの復号を開始してもよい。
【００２８】
前記再生制御情報は、前記第１ピクチャの再生終了時刻と前記第２ピクチャの再生開始時刻とが一致するように前記先頭の第２ＧＯＰの復号を開始するタイミングを示すタイミング情報を含み、前記復号部は、前記タイミング情報に基づいて前記第２映像ストリームの復号を開始してもよい。
【００２９】
前記復号部は、前記先頭の第２ＧＯＰの前記先頭ピクチャから前記第２ピクチャまでのピクチャを復号するのに不要なピクチャの復号を省略してもよい。
【００３０】
前記不要なピクチャは、Ｂピクチャであってもよい。
【００３１】
前記光ディスク再生装置は、前記第１映像ストリームと前記第２映像ストリームとを格納するバッファメモリ部をさらに備えており、前記バッファメモリ部の容量は、１ＧＯＰのデータ量以上であってもよい。
【００３２】
前記光ディスクには、前記再生制御情報がさらに記録されており、前記再生部は、前記光ディスクに記録された前記再生制御情報を再生してもよい。
【００３３】
前記光ディスクには、前記再生制御情報が前記光ディスクに記録されているか否かを示す識別子がさらに記録されており、前記再生部は、前記再生制御情報が前記光ディスクに記録されていることを前記識別子が示す場合に、前記光ディスクに記録された前記再生制御情報を再生してもよい。
【００３４】
高速再生モードにおいて、前記出力部は、前記第２ピクチャがＩピクチャでない場合には、前記先頭の第２ＧＯＰに含まれるＩピクチャを出力することを禁止してもよい。
【００３５】
前記出力部は、Ｉピクチャ再生禁止情報に基づいて、前記先頭の第２ＧＯＰに含まれるＩピクチャの一部を出力することを禁止してもよい。
【００３６】
本発明の再生制御情報生成装置は、複数の第１ＧＯＰを含む第１映像ストリームと複数の第２ＧＯＰを含む第２映像ストリームとを入力する入力部と、前記第１映像ストリームに含まれる前記複数の第１ＧＯＰのうち最後の第１ＧＯＰに含まれる第１ピクチャに続いて、前記第２映像ストリームに含まれる前記複数の第２ＧＯＰのうち先頭の第２ＧＯＰに含まれる第２ピクチャであって、前記先頭の第２ＧＯＰの先頭のピクチャとは異なる第２ピクチャを再生することを示す再生制御情報を生成する生成部とを備えており、これにより上記目的が達成される。
【００３７】
前記再生制御情報は、前記先頭の第２ＧＯＰの前記先頭ピクチャから前記第２ピクチャまでのピクチャ数を示す情報を含んでいてもよい。
【００３８】
前記再生制御情報は、前記先頭の第２ＧＯＰの前記先頭ピクチャが再生されるべき時刻と前記先頭の第２ＧＯＰの前記第２ピクチャが再生されるべき時刻とを示す情報を含んでいてもよい。
【００３９】
前記再生制御情報は、前記第１ピクチャの再生終了時刻と前記第２ピクチャの再生開始時刻とが一致するように前記先頭の第２ＧＯＰの復号を開始するタイミングを示すタイミング情報を含んでいてもよい。
【００４０】
前記タイミング情報は、前記先頭の第２ＧＯＰの前記先頭ピクチャから前記第２ピクチャまでのピクチャを復号するのに不要なピクチャを復号しない場合における前記先頭の第２ＧＯＰの復号を開始するタイミングを示していてもよい。
【００４１】
前記不要なピクチャは、Ｂピクチャであってもよい。
【００４２】
本発明の光ディスク記録装置は、再生制御情報を生成する生成部と、複数の第１ＧＯＰを含む第１映像ストリームと複数の第２ＧＯＰを含む第２映像ストリームとが記録された光ディスクに前記再生制御情報を記録する記録部とを備え、前記再生制御情報は、前記第１映像ストリームに含まれる前記複数の第１ＧＯＰのうち最後の第１ＧＯＰに含まれる第１ピクチャに続いて、前記第２映像ストリームに含まれる前記複数の第２ＧＯＰのうち先頭の第２ＧＯＰに含まれる第２ピクチャであって、前記先頭の第２ＧＯＰの先頭のピクチャとは異なる第２ピクチャを再生することを示しており、これにより上記目的が達成される。
【００４３】
本発明の光ディスク記録装置は、再生制御情報に応じて、複数の第１ＧＯＰを含む第１映像ストリームおよび複数の第２ＧＯＰを含む第２映像ストリームから再生に不要なピクチャを削除するように前記第１映像ストリームと前記第２映像ストリームとを編集する編集部と、前記編集された第１映像ストリームと前記編集された第２映像ストリームとを光ディスクに記録する記録部とを備え、前記再生制御情報は、前記第１映像ストリームに含まれる前記複数の第１ＧＯＰのうち最後の第１ＧＯＰに含まれる第１ピクチャに続いて、前記第２映像ストリームに含まれる前記複数の第２ＧＯＰのうち先頭の第２ＧＯＰに含まれる第２ピクチャであって、前記先頭の第２ＧＯＰの先頭のピクチャとは異なる第２ピクチャを再生することを示しており、これにより上記目的が達成される。
【００４４】
前記再生に不要なピクチャは、前記第１映像ストリームのうち前記第１ピクチャより後のピクチャと前記第２映像ストリームのうち前記第２ピクチャより前のピクチャとを含んでいてもよい。
【００４５】
前記再生に不要なピクチャは、前記第２映像ストリームのうち前記先頭の第２ＧＯＰの前記先頭ピクチャから前記第２ピクチャまでのピクチャを復号するのに不要なピクチャをさらに含んでいてもよい。
【００４６】
前記不要なピクチャは、Ｂピクチャであってもよい。
【００４７】
前記記録部は、前記編集された第１映像ストリームと前記編集された第２映像ストリームとを前記光ディスク上の連続した領域に記録してもよい。
【００４８】
前記記録部は、前記再生制御情報を前記光ディスクに記録してもよい。
【００４９】
前記記録部は、前記再生制御情報を前記光ディスク以外の記録媒体に記録してもよい。
【００５０】
【発明の実施の形態】
以下、本発明の実施の形態について、図を用いて説明する。
【００５１】
（実施の形態１）
（７２０Ｐ／４８０Ｐ階層型記録再生方式）
図１を用いて７２０Ｐと４８０Ｐの２階層の具体的な階層型記録装置に関して説明する。後で図２０を用いて、ＨＤＴＶ信号を複数の信号に分離して階層型記録する方法を述べる。
【００５２】
映画の場合、入力された７２０Ｐ信号はまず映画作品のような原信号が毎秒２４フレームの映像信号は、３−２プルダウン部７４６により、６０フレーム／秒から２４フレーム／秒に余分なフレームを削減した７２０Ｐ（２４Ｐ）信号７０３となる。通常の毎秒６０フレーム（６０Ｐ）の映像の場合、３−２プルダウンはバイパスする。なお、６０フレーム／秒は６０Ｐと略する。この１２８０×７２０ピクセルの７２０Ｐ映像信号７０３は７２０Ｐ／４８０Ｐダウンコンバータ７０４の中で、まず垂直フィルタ７０５により、垂直方向のライン数を７２０×２／３＝４８０に落とされ、次に水平フィルタ７０６により、１２８０×９／１６＝７２０ピクセルに落とされ、７２０×４８０ピクセルの４８０Ｐ映像信号７０７に変換される。この４８０Ｐの低解像度の映像信号は、４８０ＰのＭＰＥＧエンコーダ７０８により符号化され、圧縮されたＭＰＥＧ信号となり、ＭＰＥＧデコーダ７０９により再び、４８０Ｐ映像信号７１０に復元される。この信号は４８０Ｐ／７２０Ｐアップコンバータ７１１の中の垂直フィルタ７１２と水平フィルタ７１３により、各々３／２倍、１６／９倍に拡大され、７２０Ｐの高解像度の映像信号７１４に変換される。原画である７２０Ｐ映像信号７０３と、ＭＰＥＧエンコード／デコードされた７２０Ｐ映像信号７１４は差分信号処理部７２０の中の演算回路７１５において差分演算され、差分情報７１６が得られる。
【００５３】
この差分情報７１６は、７２０Ｐの第２ＭＰＥＧエンコーダ７１７で符号化され、イントラフレーム（ｉピクチャー）と差分フレーム（Ｐ ｏｒ Ｂ）から構成されるＧＯＰ単位の映像信号となる。これらは多重化手段７１９において１ＧＯＰ〜ｎＧＯＰのＧＯＰ単位の第２インタリーブブロック７１８ａおよび７１８ｂ等に分離される。一方、基本信号処理部７２１の４８０Ｐ第１ＭＰＥＧエンコーダ７０８で符号化された基本信号のＭＰＥＧストリームは、４８０ＰのＧＯＰ単位のＭＰＥＧストリームとなり、多重化手段７１９において、第１インタリーブブロック７２２ａ、７２２ｂに分離され、上述の第２インタリーブブロック７１８ａ、７１８ｂの間に交互に挿入、つまりインターリーブされ、このインターリーブされた信号が記録手段７２３によりＤＶＤ等のディスク７２４に記録される。この時階層記録の存在、開始位置、終了位置を示す階層記録識別子７２５や、差分情報が含まれる第２インターリーブブロック７１８ａ、７１８ｂを従来の再生装置での再生を禁止する特定インターリーブブロック再生禁止情報７２６も記録する。これらの識別子は、図２３に示すように、全体の管理情報２２４や各ＶＯＢに記録される。
【００５４】
図８のようにＤＶＤ規格に基づく既存の再生装置で、このディスク７２４を再生した場合、インターリーブブロック７２２ａ、７２２ｂを第１アングルとみなして、再生される。再生信号は、、ＭＰＥＧデータ７２７により復号され、ＮＴＳＣもしくは４８０Ｐ（２４フレーム）の映像信号が再生される。差分情報の記録された特定インタリーブブロックの再生を禁止するための特定インターリーブブロック再生禁止情報７２６、例えばアングル切り替え禁止フラグが図２３のように記録されているので、ユーザーが誤って再生装置を操作しても、第２アングルつまり第２インターリーブユニットを再生することが防止される。つまり７２０Ｐの差分情報は既存のＤＶＤ再生装置で再生されることが自動的に防止される。７２０Ｐ差分情報が誤って再生されてしまうと、この信号は既存の再生装置の４８０ｉ用の第１ＭＰＥＧデコーダでは正常に再生できないため、誤動作してしまうが、本発明によりこの種のトラブルが回避される。この場合、ＤＶＤ規格ディスクでナビ情報と呼ばれる管理情報２２４に第２インターリーブブロックへの接続情報を意図的にはずしてもよい。
【００５５】
この効果は第２インターリーブブロックに７２０Ｐ信号そのものを記録した場合にも有用である。この場合は、図１の＊印の矢印に示すように７２０Ｐ信号を、直接ＭＰＥＧエンコーダー７１７へ入力させる。
【００５６】
こうして、本発明のディスク７２４を既存のＤＶＤ再生装置で再生した場合、既存のＤＶＤディスクと同等のＮＴＳＣ並の画質の映像信号が再生されるとともに、差分信号や７２０Ｐ信号のような既存のＤＶＤ等の再生装置で正常に再生できない情報が誤って再生されることが防止される。こうして双方向の互換性が実現する。
【００５７】
７２０Ｐ信号に代えて、第２インターリーブブロックに４８０Ｐ信号そのものを記録してもよい。この場合、従来の再生装置では、第１インターリーブブロックを再生するので、４８０ｉ（ＮＴＳＣ）を出力し、本発明の再生装置では、第１インターリーブブロックから４８０ｉ、第２インターリーブブロックから４８０Ｐの、いずれか一方、もしくは双方を再生できる。
【００５８】
一方、本発明の再生装置では、第１インタリーブブロック７２２ａ、７２２ｂ、つまりＤＶＤ規格でいう第１アングルからは基本信号が再生され、第２インタリーブブロック７１８ａ、７１８ｂ、ＤＶＤ規格の第２アングルから差分信号や７２０Ｐ信号が再生され、各々４８０ＰＭＰＥＧデコーダ７２８により４８０Ｐ映像信号７２９、７２０ｂＭＰＥＧデコーダ７３０により差分信号の７２０Ｐ映像信号７３１もしくは７２０Ｐ信号が再生される。この画素数の異なる２つの映像信号は合成部７３２において合成されるか、そのまま出力され、元の７２０Ｐ映像信号７３３が復号され出力される。
【００５９】
このように本発明の再生装置で本発明の階層記録ディスク７２４を再生すると、７２０Ｐの映像信号が出力される。こうして、従来の再生装置と互換をとりながら、７２０ＰのようなＨＤＴＶ信号を記録することができる。
【００６０】
４８０Ｐそのものを第２インターリーブブロックに記録した場合、４８０Ｐ、つまりＮＴＳＣの倍密度の信号が再生される。
【００６１】
図３を用いて、図８のさらに具体的な再生装置の動作を説明する。重複するブロックの説明は省略する。
【００６２】
ディスク７２４には、図１の多重化手段７１９により、基本信号と差分信号が各々ｎＧＯＰ単位で分割された後、インタリーブされて、交互に記録されている。この信号は図３の再生装置の分離部７３４により、第１インターリーブブロック７２２ａと第２インターリーブブロック７１８ａに分離される。つまり、基本信号と差分信号に分離され、各々の第１バッファメモリ７３５と第２バッファメモリ７３６に蓄えられた後、各々の時間情報が時間情報抽出部７９３により、抽出され、ＶＴＳ同期部７８０が２つの信号が同期するように、第１基準時間情報と第２基準時間情報を第１デコーダ７２８と第２デコーダ７３０に設定することにより、２つのデコーダの出力信号の同期をとる。この場合、階層記録識別子７２５を検知した場合、識別情報処理部７４５が第１ストリームの復号信号である第１再生信号が、低画素の基本信号であり第２ストリームの復号信号である第２再生信号が高画素信号と基本信号との差分情報であることを認識し、合成部７３２におけるアップコンバート７３８の指示や、加算演算の命令を合成部７３２に与える。
【００６３】
４８０ＰのＭＰＥＧデコーダ７２８とＭＰＥＧデコーダ７３０において、各々４８０Ｐ（２４）信号と７２０（２４フレーム）信号に復号される。復号された信号は２４フレーム／秒もしくは３０フレーム／秒であるが、各々２−３変換部７３７ａ、７３７ｂにより同一フレームを２回出力することにより、６０フレーム／秒の４８０Ｐ信号７２９と差分の７２０Ｐ信号７３１が得られる。４８０Ｐ信号７２９は４８０Ｐ／７２０Ｐアップコンバーター７３８により、７２０Ｐ信号７３９にアップコンバートされて加算部７４０で、差分情報の７２０Ｐ信号７３１と加算されて、元の７２０Ｐ映像７３３が復号される。この加算部７４０の演算としては、例えば図に示すように、各々のピクセルをａ、ｂとすると（ａ＋ｂ）／２の演算を行うことにより、元の７２０Ｐ映像７３３が復号される。この合成部７３２の演算は（ａ＋ｂ）／２以外の演算でもよい。
【００６４】
この場合、ＭＰＥＧ復号信号は２−３変換部７３７ａ、７３７ｂで６０フレームに変換せず、２４フレームで処理して合成処理後に２−３変換部７４１により、２４フレームから６０フレームに変換することもできる。この場合、映像信号のデータ量は半分に減るので、デジタル処理回路の処理能力を半減できるという効果がある。
【００６５】
図１、図３では映画等の７２０Ｐ信号の２４フレーム信号を階層型に記録、再生する方法を述べたが、この方法はメリットが大きい。ＨＤＴＶの場合、１０８０ｉ方式と７２０Ｐ方式があるが、図９に示すように映画の１０８０ｉ（２４フレーム）の場合、カーブ７４２ａに示すように２層のＤＶＤの容量は８．５Ｇｂであるので、９０分しか記録できない。
【００６６】
これに対して、７２０Ｐ（２４フレーム）の場合、カーブ７４２ｂに示すように１５０分記録できる。４８０Ｐ（６０フレーム）もカーブ７４２ｃに示すように１５０分記録できる。映画の場合、１枚に１２０分以上記録できないと意味がないといわれている。本発明の７２０Ｐ（２４）／４８０Ｐ階層型記録のディスクは映画のＨＤＴＶソフトを１枚のＤＶＤディスクに収納できるという効果がある。
【００６７】
図３では、７２０Ｐの基本情報である４８０Ｐを第１インターリーブブロックに、７２０Ｐと４８０Ｐとの差分情報を第２インターリーブブロックに記録したディスクを再生した例を示したが、第２インターリーブブロックに７２０Ｐ信号をそのまま記録してたディスクを再生する場合は、図３の＊印の矢印で示すように、第２デコーダ７３０の出力をそのまま出力すればよい。この判断は識別子に基づき、識別情報処理部７４３が行う。この場合も、完全互換性の同等の効果が得られる。この方式は、記録効率は落ちるが、記録再生の処理回路が大幅に簡素化されるという効果と完全互換性の効果がある。
【００６８】
ここで図６０を用いて、ＴＶモニター７９８側にデコーダを搭載した場合の実施例を説明する。基本的な動作は図３の場合と同じであるため、違う部分のみを説明する。まず、再生装置７４３ａ側では、デコード前の信号を暗号エンコーダー７９５で暗号鍵７９９ａを用いて暗号化し、通信インターフェース部７９６ａにより、ネットワーク７９８を介してＴＶモニター７９８側の通信インターフェース部７９６ｂへ送る。この作業に先立ち、双方の相互認証部７９４ａ、７９４ｂ同士が通信を行い、互いを認証し合う。この作業をハンドシェークといってもよい。お互いの認証が確認され、正規の通信であると判断した場合は、相互認証部７９４ａ、７９４ｂは各々暗号エンコーダー７９５、暗号デコーダ７９７に暗号鍵７９９ａ、７９９ｂを与えるとともに、通信インターフェース部７９６ａ、７９６ｂに通信許可を与えるので、暗号データの送受信が行われると共に暗号データの鍵の解除が行われて、第１ストリームと第２ストリームが第１デコーダ７２８と第２デコーダ７３０に送られる。この信号の処理は別に送られる識別子７４４により、識別情報処理部７４５が判断する。前述のように第１ストリームが４８０Ｐで第２ストリームが７２０Ｐ差分信号なら、アップコンバートと合成演算を行い、７２０Ｐ信号をＴＶモニター７９８ａに出力する。第２ストリームが４８０Ｐの差分信号であるとの識別子を受信した場合は、２つのストリームを合成して４８０Ｐ信号を出力する。立体信号の識別子を受信した場合は、第１ストリームを左眼、第２ストリームを右眼として時間的に合成した立体信号を出力し、ＴＶモニター７９８ａに表示する。
【００６９】
この方式により、２つのストリームが暗号認証されている場合でも、ＴＶモニター側で識別子７４４により、合成等の処理を行うことにより、元の画像が復号されるという効果が、暗号認証のセキュリティ著作権保護効果を損なわれずに得られる。
【００７０】
次に、本発明の再生装置で４８０Ｐ（６０フレーム／秒）が記録された、ディスク７２４ａを再生する場合の再生動作を図１０を用いて説明する。なお、図３との共通する箇所の説明は省略する。
【００７１】
（和差方式図１９）
ここで、図１９を用いて和差方式の概念を述べる。映像信号を垂直方向や水平方向の高域と低域に分割し、マルチアングルの各アングルに分割記録するため、マルチアングル映像多重方式（ＭＡＤＭ）と呼ぶ。図１９に示すように、和演算部１４１と差演算部１４３で基本信号（和信号）と補助信号（差信号）に分割して、ＭＰＥＧ符号化し１ＧＯＰ単位でインタリーブブロックに交互に記録する。この場合、映像では基本信号と補助信号を同期に３−２変換することにより、情報量を２０％削減できる。また、基本信号は通常のＭＰＥＧエンコード時の主ＧＯＰ構造２４４に示すようにＩフレーム２４６とＢフレーム２４８とＰフレーム２４７が交互に並んだ“ＩＢＢＰＢＢＰＢＢＰＢＢＰＢＢ”を用いると効率がよい。しかし、差信号の場合、輪かくパターンのため、副ＧＯＰ構造２４５に示すように“ＩＰＰＰＰＰＰＰＩＰＰＰＰＰＰＰ”のようなＩフレーム２４６とＰフレーム２４７だけの構成が効率がよいことが実験で明らかになった。副ＧＯＰ構造の設定を違えることにより、効率が向上する。
【００７２】
図１９では４８０Ｐ映像信号を垂直方向に２分割した例を、後述する図２１では４８０Ｐ映像信号を水平方向に２分割した例を示したが、フレーム分割手段を用いて、６０フレームの４８０Ｐ信号の奇数番目のフレームの３０フレームとと偶数番目のフレームの３０フレームに分割し、それぞれの３０Ｐ信号を６０フィールドの２つのインターレース信号に変換し、それぞれの信号をＭＰＥＧエンコードしてＭＡＤＭ方式で記録することもできる。この場合、プログレッシブで符号化されるため、映画と同様符号化効率が向上するため、記録時間が増加する。
【００７３】
この場合、ＭＡＤＭ非対応再生装置では、第１チャンネルつまり３０Ｐのつまりコマ落ちした、いびつな、５２５インターレース信号が再生される。
【００７４】
ＭＡＤＭ対応再生装置では、基本信号として３０Ｐ信号、補助信号として、３０Ｐ信号が再生される。この２つの３０フレームの信号はフレームバッファを含むフレーム合成手段により、６０フレームの１つの正規の４８０Ｐ信号に合成され出力される。
【００７５】
また４８０Ｐの出力部にラインダブラーを付加すると、１０５０Ｐの映像が得られる。
【００７６】
ＭＡＤＭの合成部の、和信号部に５２５インターレース信号を入力し、差信号に０値を入力すると４８０Ｐの映像が得られる。つまり、ラインダブラーとおなじ効果がある。この方法であれば、５２５インタレース信号も４８０Ｐ出力できるのでプログレッシブ入力端子に１本のケーブルを接続するだけですべての映像が鑑賞出来るという効果がある。
【００７７】
図１９ではフィルタ演算式として２タップより１／２（Ａ＋Ｂ），１／２（Ａ−Ｂ）を使っている。この場合、分離周波数は約３００本である。
【００７８】
図１９のようにして４８０Ｐ信号が和、差演算により、２つの信号に分離され第１インタリーブブロック群と第２インタリーブブロック群の２つのブロック群に記録されたディスク７２４ａを再生し分離部７３４により、基本信号である４８０ｉ信号と差分信号である４８０ｉ信号を分離し、各々ＭＰＥＧデコーダ７２８、ＭＰＥＧデコーダ７３０によりデコードし４８０ｉ信号７２９ａと差分の４８０ｉ信号７３１ａを得て、加算部７４０により（ａ＋ｂ）／２の演算を行い、２つの４８０ｉ信号を合成することにより４８０Ｐ（６０フレーム）の合成信号７３３ａが出力される。
【００７９】
ディスク７２４のディスク７２４の中には４８０ｉの場合、４８０Ｐの場合、７２０Ｐの場合の３つの信号が階層型に記録されているとともに、どの解像度の差分信号が記録されているかを示す。４８０ｉ／４８０Ｐ／７２０Ｐ識別情報７４４（図１７）がディスク７２４ａ上のｔｏｃ部等には記録されている。この情報を識別情報処理部７４３が処理してディスクのどのセクタアドレスに階層型データの主データ（主信号）や副データ（差分信号）が記録されているかを判断し、その開始点等の情報を合成部７３２に送る。合成部７３２は４８０Ｐの開始点から主データと副データの合成演算を行い、４８０Ｐ（６０ｆＰＳ）信号が出力される。
【００８０】
７２０Ｐの開始点では図１７のＶｔｓ＝６に示すように７２０Ｐ−主が第１インタリーブブロックで７２０Ｐ−副が第２インタリーブブロックであることが、ディスクに記録されている。この情報を識別情報処理部７４３が識別し、ＭＰＥＧデコーダ７２８、７３０から主信号、差分信号のタイムスタンプを用いて、７２０Ｐの開始タイムスタンプから７２０Ｐ合成の演算、例えば（ａ＋ｂ）／２を演算部７４０が行い、７２０Ｐ信号を出力する。
【００８１】
また識別情報７４４（図１７）として４８０Ｐ識別子が記録されていた場合は、図１０に示すように、識別情報処理部７４５はＭＰＥＧデコーダ７３０に４８０ｉ復号命令を送り、４８０ｉ復号処理を行わせ４８０ｉの差分信号７３１ａが復号され、合成部７３２で合成され、４８０Ｐ（６０ｆＰＳ）の出力が得られる。
【００８２】
こうして、ＭＰＥＧデコーダ７３０は識別情報に応じて４８０ｉ（４８０Ｐ−３０ｆＰＳ）もしくは７２０Ｐの処理を切り替えるため、全体で２つのＭＰＥＧデコーダで４８０Ｐの主信号、差信号と７２０Ｐの主信号、差信号の双方の復号が兼用でき、構成が簡単になるという効果がある。
【００８３】
また図１０に示す４８０Ｐ再生モードには、合成部７３２の中の４８０Ｐ／７２０Ｐアップコンバータ７３８使用しないが、復号された４８０Ｐ（６０）信号を４８０Ｐ−７２０Ｐアップコンバータ７３８で７２０Ｐ信号にアップコンバートして出力することにより７２０Ｐ対応のＨＤビデオプロジェクター等に表示できるので、走査線がより見えにくくなるという効果が得られる。この場合、１つの４８０Ｐ−７２０Ｐアップコンバータ７３８を７２０Ｐ合成と７２０Ｐアップコンバートの２つに兼用できるので、構成要素を追加せずに４８０Ｐ信号の７２０Ｐアップコンバート出力が得られるという効果がある。
【００８４】
（７２０Ｐ／４８０Ｐ／４８０ｉ型３階層記録装置）
図５を用いて７２０Ｐの６０フレーム／秒型の３階層型記録装置の構成と動作を説明する。図１と構成と動作はほぼ同じであるため、異なる部分のみ説明する。まず、入力信号は７２０Ｐの６０フレーム／秒である。従って４８０Ｐダウンコンバートした映像信号も４８０Ｐ信号（６０フレーム／秒）である。この信号は基本信号処理部７２１ａに入力され、分離部７４７において、第ｎラインのピクセルデータをａ、第ｎ＋１ラインのピクセルデータをｂとすると（ａ＋ｂ）／２の演算結果を４８０ｉ映像信号の７４８ａの第ｍラインに用い、（ａ−ｂ）／２の演算結果を４８０ｉ映像信号７４８ｂの第ｍラインに用いることにより、ＮＴＳＣの主信号、差信号が得られる。これらの信号をＭＰＥＧエンコーダ７０８ａ、７０８ｂで符号化、さらにＭＰＥＧデコーダ７０９ａ、７０９ｂで４８０ｉの復号信号７４９ａ、７４９ｂを復号し合成部７４８で４８０Ｐ信号７１０を復号する。この４８０Ｐ信号を７２０Ｐ信号７１４にアップコンバートし、差分情報を得て、ＭＰＥＧ符号化し、第３インターリーブブロックデータ７１８ａ、７１８ｂを得る手順はクレームレートが２４ｆＰＳから６０ｆＰＳに変わった点以外は、図１と同じであるため省略する。
【００８５】
一方、４８０ｉのＭＰＥＧストリームはｎＧＯＰ単位のインターリーブブロックに多重化手段７１９ａにより分離され、４８０ｉ−基本信号からなる第１インターリーブブロック７２２ａの次に４８０ｉ−差分信号からなる第２インターリーブブロック７５０ａ、７２０Ｐ差分信号からなる第３インターリーブブロック７１８ａの順番でインターリーブされ、ＤＶＤ等のディスク７２４に記録される。
【００８６】
この場合、多重化された信号を８ＶＳＢやＱＡＭやＯＦＤＭ変調部７５１により変調し、送信部７５２より送信することにより階層型放送ができる。この場合、多重化手段においてＧＯＰ単位ではなく、放送で規定されたタイムドメインで時分割をしてもよい。
【００８７】
こうして４８０ｉと４８０Ｐ（６０）と７２０Ｐの３階層の階層型ディスクもしくは階層型放送が実現する。
【００８８】
図２を用いてこのディスク７２４ａを再生する動作を説明する。図３と同じ構成が含まれているため、重複する部分の説明は省略する。ディスク７２４ａから再生された信号もしくは、受信部７５３から受信され、復調部７５４により復調された信号は分離部７３４により、上述のインターリーブブロック単位で３つのストリームに分離され、バッファ７３５ａ、７３５ｂ、７３６を介して、３つのＭＰＥＧデコーダ７２８ａ、７２８ｂ、７３０において復号され、４８０ｉ基本信号７４９ａ、４８０ｉ差分信号７４９ｂ、７２０Ｐ差分信号７３１の３つの信号が復調される。このうち４８０ｉ−基本信号７４９ａと４８０ｉ差分信号７４９ｂは合成部７５５において、（ａ＋ｂ）と（ａ−ｂ）の演算を行うことにより、４８０Ｐ（６０ｆＰＳ）映像信号７２９を得ることができる。この信号と前述の７２０Ｐ差分信号７３１を合成部７３２により合成して、７２０Ｐ出力７３３ａを得るが、合成手順は前に述べたため説明は省略する。
【００８９】
こうして、ディスク７２４ａから４８０ｉ出力７４９ａ、４８０Ｐ出力７２９、７２０Ｐ出力７３３ａの３種の異なる解像度の出力が得られ、モニター再生装置のグレードによって使用者が出力を選択できる。つまり既存の再生装置では４８０ｉ（ＮＴＳＣ）グレード、４８０Ｐ対応の本発明の再生装置では４８０Ｐ（６０ｆＰＳ）の出力、７２０Ｐ対応の本発明の再生装置では７２０Ｐ（６０ｆＰＳ）の出力が得られ、完全な互換性が実現する。
【００９０】
図２では、高解像度識別子を識別情報処理部７４５が検知した場合、システム制御２１と回転制御回路３５を介して、モーターの回転速度を上げる。識別子に応じて通常の画像の再生では１倍速、４８０Ｐや７２０Ｐ（２４Ｐ）では２倍速、７２０Ｐ（６０Ｐ）では３〜４倍速に速度を上げることにより、高解像度信号を再生することができ、省電力効果がある。また、ＮＴＳＣグレードを再生する場合は、システム制御部２１は不要な７２０ＰＭＰＥＧデコーダ７３０や、４８０ｉＭＰＥＧデコーダ７２８ｂや合成部７３２のクロックを停止、もしくは低速動作させることにより、電力消費を大幅に削減できる。また、オーディオデータのオーディオタイムスタンプのＡＰＴＳ８４をＡＶ同期制御部１５８が受け取り、この時間情報を基に各ＭＰＥＧデコーダのビデオプレゼンテーションタイムスタンプＶＰＴＳを作成し、デコーダのレジスタ３９ａ、３９ｂ、３９ｃにセットすることにより、各デコーダの再生フレームの同期がとれる。垂直ブランキングの同期をとるためにはデコーダ同期部７９４が各デコーダの水平、垂直同期を同時にリセットして、各デコーダの画像はドット単位で同期がとれる。音声と映像の具体的な同期方法は後述する。
【００９１】
なお、ディスク７２４ａからは第１ストリームの画像のＮＴＳＣ等の低解像度を示す第１解像度識別子と、第２、第３ストリームの７２０Ｐ等の高解像度を示す第２解像度識別子が再生され、これらから合成部７３２のアップコンバーター７３８で４８０Ｐから７２０Ｐ、４８０Ｐから１０８０ｉ、４８０Ｐから１０８０Ｐ、７２０Ｐから１０８０Ｐ等のどの処理を行うかをシステム制御部２１が演算して、合成部７３２に指示する。実際には７０４×４８０や、７２０×４８０の様々な第１解像度識別子が存在する。このことにより、最適な比率でアップコンバータが作動するという効果がある。もちろん、単にアップコンバータの比率を示す識別子を記録紙、再生した単純なシステム構成にすることもできる。
【００９２】
また、図２の再生装置７４３ａは、第１ストリームだけなら４８０ｉ（ＮＴＳＣ）出力、第１ストリーム＋第２ストリームなら４８０Ｐ（６０Ｐ）出力７２９、第１ストリーム＋第２ストリーム＋第３ストリームなら７２０Ｐ（６０Ｐ）出力７３３ａ、の３種類の解像度の出力を同時もしくは別時間に出力できるので、様々な解像度のモニターに対応できる。
【００９３】
特に、４８０Ｐ出力７２９を合成部７３２のアップコンバーター７３８を採用して、７２０Ｐ出力に変換できるので、回路を追加することなく４８０Ｐの７２０Ｐ変換出力を得ることもできる。
【００９４】
また、この階層型再生装置の同じブロック図で受信部７５３と、復調部７５４を追加することによりＴＶ等の階層型信号を受信して、復調して、３つの解像度の映像信号を出力する受信装置を構成することもできる。
【００９５】
（ワイド４８０Ｐ）
図２１を用いて水平方向に分割した場合のＭＡＤＭ方式の概念を示す。１４４０×４８０Ｐ等のワイド４８０Ｐが映画用に適している。この信号は３−２変換部１７４により１４４０×４８０ｉのインターレース信号に変換できる。水平フィルタ部２０６ａで、水平方向に２分割する。このフィルタの原理を図３４（ａ）（ｂ）に示す。（ｂ）のように１４４０ドットは奇数ドット２６３ａ，２６３ｂと偶数ドット２６４ａ，２６４ｂに分けられる。これらをＸｎ，Ｙｎと呼ぶと、Ｘ＋Ｙで和信号、Ｘ−Ｙで差信号が演算出力と得られ、図３４（ｂ）に示す７２０×４８０と７２０×４８０の２つの４８０Ｐもしくは５２５ｉ信号が得られる。
【００９６】
図２１に戻りこうして得られた水平方向の和信号は、水平７２０ドットに減っているが、水平フィルタを通っているので、折り返し歪みはＮＴＳＣ信号並みに抑えられる。従って、従来の再生装置では、和信号だけ再生するため全く同等のＤＶＤの画質が得られる。差信号は輪かくだけの線画であるが図６０の第２映像信号出力制限情報付加部１７９により制限されているため、一般の再生装置では、容易にみられないため問題は防止される。和信号と差信号は第１エンコーダ３ａと第２エンコーダ３ｂでＭＰＥＧストリームとなり、１ＧＯＰ以上のインタリーブブロック単位でインタリーブされてＭＡＤＭ多重される。
【００９７】
映画の場合、３−２変換部１７４で３−２変換されて、３−２変換情報１７４ａとともに、各々のＭＰＥＧ信号として、ＭＡＤＭ記録される。
【００９８】
この場合映画は１秒に２４フレームのため、２倍速再生装置で、２つのインタレース信号から１４４０×４８０Ｐのプログレシブ映像が再生される。また、映画はスコープサイズは２．３５対１であり、１４４０×４８０Ｐはアスペスト比の面で適しておりワイド４８０Ｐの効果は高い。
【００９９】
図２１でワイド４８０ｉの階層型ディスク７２４ｂの説明をしたが、図４でこのディスクをＷ−４８０ｉ再生装置で再生する動作を説明する。ディスク７２４ｂ ２４フレーム／秒で記録されている場合、フィールドフレーム変換部７５６ａ、７５６ｂにより、Ｗ−４８０Ｐ基本信号７５７ａとＷ４８０Ｐ差分信号７５７ｂが復号される。各ピクセルは各々（Ｘ＋Ｙ）／２、（Ｘ−Ｙ）／２のデータがエンコードされているので合成部７５８において、（Ｘ＋Ｙ）／２＋（Ｘ−Ｙ）／２の演算を行うと、Ｘつまり奇数番目のピクセルデータが復号され、（Ｘ＋Ｙ）／２−（Ｘ−Ｙ）／２の演算によりＹ、つまり偶数番目のピクセルデータが復号されるので、水平方向のピクセル数は２倍の１４４０ピクセルとなる。こうして１４４０×４８０ピクセルのＷ４８０Ｐ映像７５９が得られる。Ｗ４８０Ｐ−７２０Ｐ変換部７６０において、この信号を８／９倍の水平フィルタ７６０ａで１４４０ピクセルから１２８０ピクセルの水平方向データ、３／２倍の垂直フィルタ７６０ｂで４８０から７２０ピクセルに変換することにより、７２０Ｐデジタル出力が得られ、一般の７２０Ｐデジタルインターフェースを用いることができるという効果がある。
【０１００】
（詳しい再生動作：図２５）
次に図２５に示す２倍速のプログレシブやスーパーワイド画像や７２０Ｐ再生用の再生装置のブロック図を用いて、本発明の再生装置６５での再生動作を詳しく説明する。光ディスク１から再生した信号は、１ＧＯＰ単位以上のフレーム信号からなる第１インタリーブブロック６６、第２インタリーブブロック６７単位に、分離部６８で分離される。伸長部６９でＭＰＥＧ伸長された、秒３０フレームのフレーム映像信号７０ａ、７０ｂはフィールド分離部７１ａ、７１ｂで奇数フィールド信号７２ａ、７２ｂと偶数フィールド信号７３ａ、７３ｂに分離され、２ｃｈのＮＴＳＣのインターレース信号７４ａ、７４ｂが出力される。図２０のワイド画面に関しては後述する。 これを発展させると、図２５において、１４４０×９６０のプログレシブ画像１８２ａを画像分離部１１５の水平垂直分離部１９４で水平垂直方向に例えば、サブバンドフィルタやウェーブレット変換を用いて分離する。すると５２５プログレシブ映像１８３が得られる。これを５２５インターレース信号１８４分離して、ストリーム１８８ａで記録する。
【０１０１】
一方残りの補間情報１８５を同様にして４つのストリーム１８８ｃ，１８８ｄ，１８８ｅ，１８８ｆに分離してインタリーブブロックに記録する。各インタリーブブロックの最大転送レートはＤＶＤ規格で８Ｍｂｐｓであるため、補間情報を４つのストリームに分割した場合、３２Ｍｂｐｓ、６アングルの場合、４８Ｍｂｐｓを記録するため、７２０Ｐや１０５０ＰのＨＤＴＶの映像を記録できる。この場合、従来の再生装置ではストリーム１８８ａを再生し、インターレース映像１８４が出力される。また、ストリーム１８８ｃ，１８８ｄ，１８８ｅ，１８８ｆには画像処理制限情報発生部１７９により、出力制限情報が光ディスク１８７に記録されているので、見づらい画像の差分情報等の補間情報１８５が誤って出力されることはない。こうして、図２５の方式で水平垂直双方向に分離することにより、ＨＤＴＶとＮＴＳＣの互換性のある光ディスクが実現するという効果がある。
【０１０２】
図２５において、インターレース信号はインターレース変換部１７５でインターレース信号に変換し出力し、スコープ画面１７８を得る。４８０Ｐプログレシブ信号も同様にスコープ画面１７８として出力される。また、７２０Ｐのモニターで見る場合は、４８０Ｐ信号を４８０Ｐ／７２０Ｐ変換部１７６において、７２０Ｐのプログレシブ信号として変換し、１２８０×７２０もしくは、１４４０×７２０（画像は１２８０×４８０又は１４４０×４８０）のレターボックス型の７２０Ｐ画面１７７が出力される。スコープ画像（２．３５：１）は１１２８×４８０となるので近いアスペクト比の画像が得られる。特に、映画ソフトの場合、２４フレーム／秒なので、プログレシブ画像は４Ｍｂｐｓのレートになる。スコープ画像を２画面分割の本発明の方式で記録した場合、８Ｍｂｐｓとなり、ＤＶＤの２層ディスクに約２時間記録できるため１枚にスコープ画像の７２０Ｐ、もしくは４８０Ｐの高画質のプログレシブ画像が記録できるという効果がある。また、従来ＴＶでも、当然インターレース出力信号で表示される。このように映画のスコープ（２．３５：１）画面を４８０Ｐもしくは７２０Ｐで出力できるという効果が得られる。
【０１０３】
（高解像度記録識別情報）
図１に戻るとアドレス情報はアドレス回路より出力され、プログレシブ／立体画像配置情報を含んだ階層記録識別子７２５は階層記録識別子出力部７２５ａより出力され、記録回路７２３により、光ディスク上に記録される。このプログレシブ／立体画像配置情報には、プログレシブ又は立体画像が光ディスク上に存在するかどうかを示す識別子又は、階層符号化時にアップコンバートしかを示す階層記録識別子７２５、図１７のプログレシブ／立体画像配置表１４が含まれている。図１７に示すようにＶＴＳ毎のＲとＬの立体映像やプログレシブ信号が配置されているアングル番号やセル番号がＴＥＸＴＤＴファイル８３の中に書かれている。各ＶＴＳのＰＧＣファイルには各セルの開始アドレスと終了アドレスが書いてあるので、結果的に開始アドレスと終了アドレスが示されることになる。この配置情報や識別情報をもとに再生装置では、プログレシブ映像や立体映像を正しくプログレシブ出力やＲ，Ｌ出力として出力する。誤って異なるコンテンツの通常映像がＲとＬに出力されると、使用者の右眼と左眼に関連のない映像のため不快感を与える。プログレシブ／立体映像配置情報もしくはプログレシブ／立体映像識別子、階層記録識別子はこのような不快な映像を出力することを防止するという効果がある。図３に示すように階層記録識別子７２５を再生した場合は、制御部はアップコンバート命令７８６を送り４８０Ｐ信号をアップコンバーター７３８で、７２０Ｐ信号にアップコンバートして７２０Ｐの合成処理を行い、階層記録識別子７２５がないときは、図１０のように、アップコンバーター７３８を使用しないで合成演算をおこない４８０Ｐを出力するので、識別子により、接続を切り替えるだけで一つの合成部を用いて安定して画像合成を行うことができる。
【０１０４】
図２３を用いてこの画像識別子２２２を用いて再生する手順を示す。光ディスクからは、まず管理情報２２４から再生手順制御情報２２５を読み出す。この中にはＶＯＢの制限情報があるため、既存の再生装置では、第０ＶＯＢ２２６ａからメイン映像が記録された第１ＶＯＢ２２６ｂにしか接続されない。第０ＶＯＢ２２６ａから差分情報等の補間信号が記録された第２ＶＯＢ２２６ｃに接続されないため、前述のように差分情報のような見苦しい画像が既存の再生装置から再生されることはない。次にメイン信号の各ＶＯＢには画像識別子が記録されており、第１ＶＯＢ２２６ｂと第２ＶＯＢ２２６ｃはプログレシブ識別子＝１、解像度識別子＝００（５２５本）なので、５２５本のプログレシブ信号がプログレシブプレーヤＨＤプレーヤからは再生される。
【０１０５】
次のＶＯＢ２２６ｄの画像識別子２２２はプログレシブ識別子＝０、解像度識別子２１９＝１０なので、１０５０本のインターレース信号であり、ＶＯＢ２２６ｅ、ＶＯＢ２２６ｆ、ＶＯＢ２２６ｇの３つのＶＯＢが補間情報であることがわかる。こうして従来プレーヤではＮＴＳＣ、プログレシブプレーヤで、水平画素数７２０本の１０５０本のインターレース、ＨＤプレーヤでは１０５０ｃのフル規格のＨＤＴＶ信号が出力される。こうして画像識別子２２２により、様々な映像信号がインタリーブ記録でき、再生できる。なお、この画像識別子２２２は管理情報２２４に記録してもよい。
【０１０６】
（倍クロックおよびソフトデコーディング）
また、図３、図４のブロック図では、ＭＰＥＧデコーダを２ヶ使っているが、図１８に示すように、第１ＭＰＥＧ信号と第２ＭＰＥＧ信号を合成部３６で一つのＭＰＥＧ信号とし倍クロック発生部３７より、倍クロックを発生させ、倍クロック型のＭＰＥＧデコーダ１６ｃで倍の演算し、伸長し、分離部３８でＲとＬの映像信号として出力する回路構成により、構成を簡単にできる。この場合、既存の再生装置に比べて、メモリ３９に１６ＭＢ ＳＤ−ＲＡＭを追加するだけでよいためコスト上昇が少ないという効果がある。またソフトデコーディングの時はＣＰＵが倍クロックになれば１ＣＰＵで時分割で同時デコード処理できる。この応用は実施の形態２で後述する。
【０１０７】
（同期再生）
図１８を用いて、高解像度プログレシブ映像うや立体映像の復号に重要な２つのストリームの同期再生について述べる。まず、２つのストリームの垂直，水平の同期を１ライン以内に合わせる必要がある。このため垂直＃水平同期制御部８５ｃにより、第１ＭＰＥＧデコーダ１６ａと第２ＭＰＥＧデコーダ１６ｂとを同時期に立ち上げ同期をかける。次に２つのデコード出力が、同じＶＰＴＳの画像である必要がある。この方法を図２６のフローチャートと図１８を用いて説明する。ステップ２４１ａで第１デコーダ、第２デコーダの双方の同期をＯＦＦにする。ステップ２４１ｂで前述のように垂直，水平の同期をとる。ステップ２４１ｃでオーディオのＡＰＴＳを読み込みこのＡＰＴＳ値を第１デコーダのＳＴＣと第２デコーダのＳＴＣの初期値として設定する。ステップ２４１ｅの第１デコーダの処理としては、ステップ２４１ｆで第１ＶＰＴＳが初期値に達するかをチェックし、ＯＫならステップ２４１ｇでデコードを開始する。ステップ２４１ｈでは第１デコーダの処理遅延時間を演算して、ＡＰＴＳとＶＰＴＳが同期するようにデコード出力のＶＰＴＳを調整する。第２デコーダも同じ処理をするので、第１デコーダと第２デコーダの画像が同期する。こうして１ライン以内に第１ＭＰＥＧ信号と第２ＭＰＥＧ信号の２つのデコード出力は同期される。後は合成部３６の中の映像信号同期部３６ａによりドット単位で同期し、和演算を行っても元のプログレシブ画像が得られる。図５に示すように、オーディオデコーダ１６ｃでＡＰＴＳ８４を読み込み、２つのＭＰＥＧデコーダ１６ａ，１６ｂのＳＴＣのレジスタ３９ａ，３９ｂに同じＡＰＴＳを設定することにより、自動的にオーディオと２つの映像ストリームの同期をとることもできる。
【０１０８】
本発明の場合、バッファ回路２３ａ，２３ｂのバッファがアンダーフローすると、２つの内どちらかの映像信号が途切れ、乱れたプログレシブ映像が出力されてしまう。そこで図２に示すようにバッファ量制御２３ｃを設けて、２つのバッファの量を制御している。この動作は図２７のフローチャートに示すように、まずステップ２４０ａで各ディスクのＮＡＶＩ情報の中の最大インタリーブ値を読み出し、１つの主インタリーブブロックの最大値１ＩＬＢを設定する。通常は５１２セクタつまり、１ＭＢ程度である。規定で１ＭＢ以下に制限した場合、その値を設定する。次にステップ２４０ｂで主・副インタリーブブロックの同時再生命令がきた場合、ステップ２４０ｃで第１バッファ２３ａのバッファ量が１ＩＬＢ以下であれば、主インタリーブブロックから再生し、第１バッファ２３ａへデータを転送させる命令を出す。ステップ２４０ｂ，２４０ｃに戻り、第１バッファ量が１ＩＬＢを越えるとステップ２４０ｄで転送を停止させる。こうしてバッファ２３ａは１ＩＬＢ以上になるので、アンダーフローは防がれる。
【０１０９】
バッファ２３ｂではステップ２４０ｆで副インタリーブブロックの最大値１ＩＬＢ−Ｓｕｂを設定する。ステップ２４０ｇで同時再生し、ステップ２４０ｈで第２バッファ２３ｂが１／２ ＩＬＢ−Ｓｕｂ以下であればステップ２４０ｊでバッファへ読み込み、以上であればステップ２４０ｉで停止する。
【０１１０】
図２４の（４）に示すように第２バッファは１／２ ＩＬＢでよいため、バッファ量を半分にできる。図２７のバッファ制御により、バッファのアンダーフローがなくなり、再生画面の合成画像が乱れることが低減する。
【０１１１】
（トラックバッファの必要容量：図２３、３１）
最初に本発明の２つのビデオストリームを同期させる方法を述べる。まず、図３９に示すように、光ヘッドから再生されたシステムストリームは、トラックバッファ２３に一旦蓄積された後に、第１ビデオデコーダ６９ｄと第２ビデオデコーダ６９ｃへ送られる。光ディスクのトラックには、プログレシブ信号の２つのストリームＡ、つまり第１ストリームと、Ｂの第２ストリームがインタリーブブロック単位で交互に記録されている。
【０１１２】
まず、２倍速回転でストリームＡを再生し、トラックバッファ２３の中の第１トラックバッファ２３ａにデータの蓄積を開始する。この状態は図２４の（１）に示したように、ｔ＝ｔ１〜ｔ２では１インタリーブ時間Ｔ１の期間の第１映像信号の１インタリーブブロック分（ＩＬＢ）Ｉ１のデータが蓄積されていく。第１のトラックバッファデータ量は増加しｔ＝ｔ２で１ＩＬＢのデータ量まで増加し、第１映像信号の１ＩＬＢ分のデータの蓄積を完了する。ｔ＝ｔ２で、第１映像信号の１ＧＯＰ分以上の１ＩＬＢ分の蓄積を完了した後、今度はストリームＢの第２映像信号を光ディスクの次のインタリーブブロック Ｉ２から再生し、図２４（４）の実線で示すようにｔ＝ｔ２で第２トラックバッファ２３ｂに第２映像信号のデータの蓄積を開始し、ｔ＝ｔ６まで、第１トラックバッファ２３ｂに蓄積する。同時に、ｔ＝ｔ２からｔ８までは、図２４（７）、（１０）に示すように第１映像信号と第２映像信号をビデオプレゼンテーションタイムスタンプ、つまりＶＰＴＳの時間を同期させてトラックバッファ２３ａ，トラックバッファ２３ｂから第１ビデオデコーダ６９ｃ，第２ビデオデコーダ６９ｄに入力させる。この入力信号は図２４（８）、（１１）に示すようにＭＰＥＧの伸長処理時間であるビデオ遅延時間ｔｗｄだけ遅れた時間のｔ＝ｔ３より、第１ビデオデコーダ６９ｃと第２ビデオデコーダ６９ｄから伸長された２つのビデオデータとして出力される。ｔ＝ｔ４よりｔ１０までこのストリームＡとストリームＢの２つのビデオデータはプログレシブ変換部１７０によりプログレシブ信号に合成されて１インタリーブブロック分のプログレシブ信号が出力される。
【０１１３】
さて、このようにｔ＝ｔ２からｔ８までは１インタリーブブロック分のデータがデコーダに入力される。従って、ほぼ同一のレートで、第１トラックバッファ２３ａと第２トラックバッファ２３ｂのデータは消費され減少する。従って図２４（２）に示すように、第１トラックバッファのデータ量はｔ２からｔ７までは減少し、ｔ＝ｔ７では１ＩＬＢの１／２まで減少する。ｔ＝ｔ７で、インタリーブブロックＩ５のデータの再生が始まるので、増加分と減少分が相殺され、ｔ＝ｔ８まで増加し、ｔ＝ｔ８で１ＩＬＢに達するが、ｔ＝ｔ２の場合と同様にしてｔ＝ｔ８で第１デコーダ６９ｃへの入力が始まるので、ｔ＝ｔ１１まで減少を続け、最終的に１／２ＩＬＢ分のバッファメモリ量となる。
【０１１４】
次に図２４（４）を用いてストリームＢのバッファ量である第２トラックバッファ２３ａのメモリ量の推移を説明する。ｔ＝ｔ２でインタリーブブロックＩ２のストリームＢのデータＢ１が第２トラックバッファ２３ｂに入力され始めるが、同時にＢ１のデータの第２ビデオデコーダ６９ｄへの転送も始まるので、１／２に相殺され、ｔ＝ｔ６におけるバッファ量は１／２の１／２ＩＬＢ分となる。本発明のプログレシブ信号の２角度のマルチアングル記録する場合は、４つのストリームつまり４つのインタリーブブロックがあるため、ｔ＝ｔ６からｔ７にかけて、インタリーブブロックＩ３，Ｉ４をトラックジャンプして、Ｉ５へジャンプする必要がある。このｔｊのジャンプ時間１９７の間は、光ディスクからのデータの再生入力は中断するため、ストリームＢのバッファ量はｔ＝ｔ８まで減少を続け、ｔ＝ｔ８で０近くなる。
【０１１５】
ｔ＝ｔ８でインタリーブブロックＩ６のデータＢ２の再生データが入力されてくるので、再び増加を始め、ｔ＝ｔ１１で第２トラックバッファのメモリ量は１／２ＩＬＢ分となる。ｔ＝ｔ１１でトラックジャンプを行い、インタリーブブロックＩ７， Ｉ８をスキップしてＡ３のインタリーブブロックＩ９をアクセスする。
【０１１６】
以上の動作を繰り返す。
【０１１７】
ここで、本発明の方式の第１トラックバッファ２３ａと第２トラックバッファ２３ｂを加算したトラックバッファ２３に最低必要なメモリ容量を述べる。図２４（４）に点線で示すトラックバッファ容量１９８がトラックバッファ２３ａとトラックバッファ２３ｂを足したデータ量を示す。このように合計で最低１ＩＬＢ分の容量をトラックバッファに設定することにより、切れ目無く再生できる。
【０１１８】
本発明では本発明のプログレシブ再生時にトラックバッファ２３のトラックバッファ２３ａと２３ｂの合計容量を１インタリーブブロック以上とることにより、トラックバッファのオーバーフローやアンダーフローを防ぐことができる効果がある。
【０１１９】
（システムクロック制御方法）
また、図２８で２ストリームの場合のシステムクロックＳＴＣの切替法を後述するが、プログレシブ再生の場合、Ａ，Ｂ２つのストリームがある。この場合、１ＩＬＢのプログレシブ信号を構成する２つのインターレース信号の２つのストリームをＡ１，Ｂ１とすると、まず１番目のＡ１ストリームのデータは図２８（１）に示すように１／２ＩＬＢ期間に再生され、バッファに全データが蓄積される。次にストリームＢのデータは図２８（２）に示すように、Ａ１の再生終了後、Ｂ１として再生されバッファに蓄積される。この場合、前述の用に図２８（２）のストリームＢで、光ディスクからの再生データは制御されるので、トラックバッファがオーバーフローすることはない。図２８（３）に示すストリームＡ、もしくはストリームＢのトラックバッファからのＳＣＲつまりストリームクロックは、図２８（２）に示すストリームＢの再生開始点Ｊに略々同期してカウンタをリセットされる。そして、ストリームＢは２倍速で出力されるので、バッファにより、図２８（３）に示すような１倍速、つまり１／２の速度でストリームクロックはカウントされる。そしてＧ点でストリームクロックはリセットされる。ビデオデコーダより、ストリームＢのビデオ信号が出力する時刻ＶＰＴＳ２はＭＰＥＧデコード時間等の遅延時間Ｔｖｄを考慮し同期させる必要がある。この場合、Ｉ点つまり、ＶＰＴＳの増加が途切れた点でｔ＝ＴｉでＡＶ同期制御を再起動する。この場合ストリームＢのＶＰＴＳ２をチェックし、このＶＰＴＳ２にストリームＡのＶＰＴＳ１を同期させることにより、１系統の簡単な制御で同期が実現する。この場合ＶＰＴＳ１を併用してもよい。
【０１２０】
オーディオの同期ストリームＢの音声データを再生し、図２８（４）に示すように、ストリームＢのＡＰＴＳを用いてＨ点でＳＴＣを切り替えればよい。ストリームＢのサブ映像信号も図２８（４）と同じようにしてＳＴＣを切り替えればよい。
【０１２１】
以上のようにして、ストリームＢのデータを優先的に用いてＡＶ同期させることにより、簡単な制御でＡＶ同期が実現する。
【０１２２】
この場合、ストリームＡ１、Ａ２は全映像データがバッファメモリに蓄えられているのでオーバーフローすることはない。ストリームＢ１がオーバーフローする可能性がある。しかし本発明ではストリームＢで同期制御を行うことにより、図２８（６）に示すようにＶＰＴＳ２がＶＰＴＳ２しきい値を超えないようにＳＴＣを切り替え、信号フローを制御しているので、バッファがオーバーフローすることがない。
【０１２３】
また、ストリームＢの音声を音声再生に用いることにより前述のように、オーディオデコーダのバッファを１／２にできるだけでなく、図２８（４）に示すように、ｔ＝ＴｈのＨ点でＳＴＣを切り替えることにより、ＡＰＴＳしきい値を超えることなく、スムーズに音声が再生される。サブ映像情報も同様にスムーズに同期して再生される。従って、映像と音声、字幕等のサブ映像が同期するとともに、画面、音声が途切れることなく、つまりシームレスに再生される。この場合、ストリームＡの音声、サブ映像の記録を省略しても、さしつかえない。
【０１２４】
（ＡＶ同期：図２９、３０、３１、３３）
ここで、２つ、または、３つのストリームを同時再生する場合のジャンプ時の接続時等に重要なＡＶ同期について述べる。本発明の場合、７２０Ｐ信号と４８０ｉのデータ量の大きく異なるストリームを同期させるため、重要である。
【０１２５】
図２９はシステム制御部２１によるプログラムチェーン群の再生処理の詳細な手順を示すフローチャートである。図２９において、ステップ２３５ａ、２３５ｂ、２３５ｃで、まずシステム制御部２１は、ボリューム情報ファイルまたはビデオファイルのプログラムチェーン情報テーブルから、該当するプログラムチェーン情報を読み出す。ステップ２３５ｄで、プログラムチェーンが終了していない場合は、ステップ２３５ｅに進む。
【０１２６】
次に、ステップ２３５ｅプログラムチェーン情報内において次に転送すべきセルのシームレス接続指示情報を参照し、当該セルと直前のセルとの接続がシームレス接続を行うべきか否かを判別し、シームレス接続の必要がある場合は、ステップ２３５ｆのシームレス接続処理に進み、シームレス接続の必要がなければ、通じよう接続処理に進む。
【０１２７】
ステップ２３５ｆでは、機構制御部、信号処理部などを制御してＤＳＩパケットを読み出し、先に転送を行ったセルのＤＳＩパケット内に存在するＶＯＢ再生終了時刻（ＶＯＢ＿Ｅ＿ＰＴＭ）と、次に転送するセルのＤＳＩパケット内に損ザイルＶＯＢ再生開始時刻（ＶＯＢ＿Ｓ＿ＰＴＭ）を読み出す。
【０１２８】
次にステップ２３５ｈでは「ＶＯＢ再生終了時刻（ＶＯＢ＿Ｅ＿ＰＴＭ）−ＶＯＢ再生開始時刻（ＶＯＢ＿Ｓ＿ＰＴＭ）」を算出してこれを当該セルと直前に転送済みのセルとのＳＴＣオフセットとして、図３０のＡＶ同期制御部１５８内のＳＴＣオフセット合成部１６４に転送する。
【０１２９】
同時に、ステップ２３５ｉで、ＶＯＢ再生終了時刻（ＶＯＢ＿Ｅ＿ＰＴＭ）を、ＳＴＣ切り替えスイッチ１６２ｅの切り替え時刻Ｔ４としてＳＴＣ切り替えタイミング制御部１６６に転送する。
【０１３０】
次に当該セルの終端位置になるまでデータを読み出すように機構制御部に指示する。これによりステップ２３５ｊでトラックバッファ２３に当該セルのデータが転送され、転送が終了し次第ステップ２３５ｃのプログラムチェーン情報の読み出しに進む。
【０１３１】
また、ステップ２３５ｅにおいて、シームレス接続でないと判断された場合、トラックバッファ２３への転送をシステムストリーム末尾まで行い、ステップ２３５ｃのプログラムチェーン情報の読み出しに進む。
【０１３２】
次に、本発明におけるシームレス再生を行うためのシームレス接続制御のＡＶ同期制御方法に関する２つの実施例を説明する。これらは図２、図３１におけるＡＶ同期制御部１５８を詳細に説明するものである。
【０１３３】
図３１のシステムデコーダ１６１、オーディオデコーダ１６０、ビデオデコーダ６９ｃ， ６９ｄ、副映像デコーダ１５９は全て、図３０のＡＶ同期制御部から与えられるシステムタイムクロックに同期して、システムストリーム中のデータの処理を行う。
【０１３４】
第１の方法では、図３０を用いて、ＡＶ同期制御部１５８の説明を行う。
【０１３５】
図３０においてＡＶ同期制御部は、ＳＴＣ切替スイッチ１６２ａ，１６２ｂ，１６２ｃ，１６２ｄ、ＳＴＣ１６３、ＳＴＣオフセット合成部１６４、ＳＴＣ設定部１６５、ＳＴＣ切替タイミング制御部１６６から構成される。
【０１３６】
ＳＴＣ切替部１６２ａ，１６２ｂ，１６２ｃ，１６２ｄ，１６２ｅは各々システムデコーダ１６１、オーディオデコーダ１６０、メインビデオデコーダ６９ｃ、サブビデオデコーダ６９ｄ、副映像デコーダ１５９に与える基準クロックとしてＳＴＣ１６３の出力値とＳＴＣオフセット合成部１６４の出力値とを切り替える。
【０１３７】
ＳＴＣ１６３は、通常再生において図３１のＭＰＥＧデコーダ全体の基準クロックである。
【０１３８】
ＳＴＣオフセット合成部１６４はＳＴＣ１６３の値から、システム制御から与えられるＳＴＣオフセット値を減算した値を出力し続ける。
【０１３９】
ＳＴＣ設定部１６５は、システム制御部から与えられるＳＴＣ初期値又はＳＴＣオフセット合成部１６４から与えられるＳＴＣオフセット合成値をＳＴＣ切替タイミング制御部１６６から与えられるタイミングでＳＴＣ１６３に設定する。
【０１４０】
ＳＴＣ切替タイミング制御部１６６は、システム制御部から与えられるＳＴＣ切替タイミング情報とＳＴＣ１６３及びＳＴＣオフセット合成部１６４から与えられるＳＴＣオフセット合成値に基づいてＳＴＣ切替部スイッチ１６２ａ〜１６２ｅとＳＴＣ設定１６５を制御する。
【０１４１】
ＳＴＣオフセット値とは、異なるＳＴＣ初期値を持つシステムストリーム＃１とシステムストリーム＃２を接続して連続再生する際に、ＳＴＣ値を変更するたるめに用いるオフセット値である。
【０１４２】
具体的には、先に再生するシステムストリーム＃１のＤＳＩパケットに記述される「ＶＯＢ再生終了時刻（ＶＯＢ＿Ｅ＿ＰＴＭ）」から、次に再生するシステムストリーム＃２のＤＳＩに記述される「ＶＯＢ再生開始時刻（ＶＯＢ＿Ｓ＿ＰＴＭ）」を減算して得る。これらの表示時刻の情報は、図５において光ディスクから読み出されたデータがトラックバッファ２３に入力される時点で、システム制御部１６７が読み出すことで、予め算出しておく。
【０１４３】
算出したオフセット値は、システムストリーム＃１の最後のパックがシステムデコーダ１６１に入力されるまでに、ＳＴＣオフセット合成部１６４に与えられる。
【０１４４】
図５のデータ復号処理部１６５は、シームレス接続制御を行う場合以外は、ＭＰＥＧデコーダとして動作する。この時にシステム制御部１６７から与えられるＳＴＣオフセットは０または任意の値であり、図３０におけるＳＴＣ切替スイッチ１６２ａ〜１６２ｅは常にＳＴＣ１６３側が選択される。
【０１４５】
次に、システムストリーム＃１とシステムストリーム＃２というＳＴＣ値の連続しない２つのシステムストリームがシステムデコーダ１６１に連続入力される場合の、システムストリームの接続部におけるＳＴＣ切替スイッチ１６２ａ〜１６２ｅの切替及び、ＳＴＣ１６３の動作について図３３のフローチャートを用いて説明する。
【０１４６】
入力されるシステムストリーム＃１とシステムストリーム＃２のＳＣＲ，ＡＰＴＳ，ＶＰＴＳ，ＶＤＴＳ説明は省略する。
【０１４７】
ＳＴＣ１６３には予め、再生中のシステムストリーム＃１に対応したＳＴＣ初期値がＳＴＣ設定部１６５からセットされて、再生動作とともに順次カウントアップ中であるとする。まずシステム制御部２１（図３１）は、先に述べた方法によりＳＴＣオフセットの値を算出しておき、システムストリーム＃１の最後のパックがデコーダバッファに入力されるまでにこの値をＳＴＣオフセット合成部１６４にセットしておく。ＳＴＣオフセット合成部１６４はＳＴＣ１６３の値からＳＴＣオフセット値の減算値を出力し続ける（ステップ１６８ａ）。
【０１４８】
ＳＴＣ切替タイミング制御部１６６は、先に再生されるシステムストリーム＃１中の最後のパックがデコーダバッファに入力される時刻Ｔ１を得、時刻Ｔ１においてＳＴＣ切替スイッチ１６２ａをＳＴＣオフセット合成部１６４の出力側に切り替える（ステップ１６８ｂ）。
【０１４９】
以降、システムデコーダ１６１の参照するＳＴＣ値には、ＳＴＣオフセット合成部１６４の出力が与えられ、システムストリーム＃２のシステムデコーダ１６１への転送タイミングは、システムストリーム＃２のパックヘッダ中に記述されたＳＣＲにより決定される。
【０１５０】
次にＳＴＣ切替タイミング制御部１６６は、先に再生されるシステムストリーム＃１の最後のオーディオフレームの再生が終了する時刻Ｔ２を得、時刻Ｔ２においてＳＴＣ切替スイッチ１６２ｂをＳＴＣオフセット合成部１６４の出力側に切り替える（ステップ１６８ｃ）。時刻Ｔ２を得る方法については後述する。
【０１５１】
以降、オーディオデコーダ１６０の参照するＳＴＣ値には、ＳＴＣオフセット合成部１６４の出力が与えられ、システムストリーム＃２のオーディオ出力のタイミングは、システムストリーム＃２のオーディオパケット中に記述されたＡＰＴＳにより決定される。
【０１５２】
次にＳＴＣ切り替えタイミング制御部１６６は、先に再生されるシステムストリーム＃１のメイン信号とサブ信号の最後のビデオフレームのデコードが終了する時刻Ｔ３，Ｔ’３を得、時刻Ｔ３，Ｔ’３においてＳＴＣ切替スイッチ１６２ｃ，１６２ｄをＳＴＣオフセット合成部１６４の出力側に切り替える（ステップ１６８ｄ）。時刻Ｔ３を得る方法については後述する。以降、ビデオデコーダ６９ｃ，６９ｄの参照するＳＴＣ値には、ＳＴＣオフセット合成部１６４の出力が与えられ、システムストリーム＃２のビデオデコードのタイミングは、システムストリーム＃２のビデオパケット中に記述されたＶＰＴＳにより決定される。
【０１５３】
次にＳＴＣ切り替えタイミング制御部１６６は、先に再生されるシステムストリーム＃１の最後のビデオフレームの再生出力が終了する時刻Ｔ４を得、時刻Ｔ４においてＳＴＣ切替スイッチ１６２ｅをＳＴＣオフセット合成部１６４の出力側に切替える（ステップ１６８ｅ）。時刻Ｔ４を得る方法については後述する。
【０１５４】
以降、ビデオ出力切替スイッチ１６９及び副映像デコーダ１５９の参照するＳＴＣ値には、ＳＴＣオフセット合成部１６４の出力が与えられ、システムストリーム＃２のビデオ出力及び副映像出力のタイミングは、システムストリーム＃２のビデオパケット及び副映像パケット中に記述されたＶＰＴＳとＳＰＴＳにより決定される。
【０１５５】
これらＳＴＣ切替スイッチ１６２ａ〜１６２ｅのスイッチの切替が終了した時点で、ＳＴＣ設定部１６５は、ＳＴＣオフセット合成部１６４から与えられている値をＳＴＣ１６２に設定し（ステップ１６８ｆ）（これをＳＴＣ１６３のリローディングと呼ぶ）、ステップ１６２ａ〜１６２ｅの全てのスイッチをＳＴＣ１６３側に切り替える（ステップ１６８ｇ）。
【０１５６】
以降、オーディオデコーダ１６０、ビデオデコーダ６９ｄ， ６９ｃ、ビデオ出力切替スイッチ１６９及び副映像デコーダ１５９の参照するＳＴＣ値には、ＳＴＣ１６３の出力が与えられ、通常動作に戻る。
【０１５７】
ここで、ＳＴＣの切替タイミングである時刻Ｔ１〜Ｔ４を得る方法として２つの手段について説明する。
【０１５８】
具体的な手段としては、時刻Ｔ１〜Ｔ４はストリーム作成時に容易に計算し得るため、予め時刻Ｔ１〜Ｔ４を表す情報をディスクに記述し、システム制御部２１がこれを読み出して、ＳＴＣ切替タイミング制御部１６６に伝える方法である。
【０１５９】
特に、Ｔ４については、ＳＴＣオフセットを求める際に使用する、ＤＳＩに記録されている「ＶＯＢ再生終了時刻（ＶＯＢ＿Ｅ＿ＰＴＭ）」がそのまま使用できる。
【０１６０】
この時に記録する値は、先に再生するシステムストリーム＃１で使用するＳＴＣの値を基準として記述し、ＳＴＣ切替タイミング制御部１６６は、ＳＴＣ１６３のカウントアップする値が時刻Ｔ１〜Ｔ４になった瞬間にＳＴＣ切り替えスイッチ１６２ａ〜１６２ｅを切り替える。
【０１６１】
（実施の形態２）
実施の形態１では、本発明の複数ストリーム同期再生方式の高解像度映像記録再生への応用例を詳細に述べたが、実施の形態２では、この同期再生方式を応用して、２ストリームをつなぎ目なしで接続する再生制御方式を述べる。ＭＰＥＧ記録信号の場合、ＧＯＰ単位での編集が一般的で、フレーム単位での編集は困難であった。本発明のＭＳＳ方式を用いることにより、実質的なフレーム編集が可能となる。
【０１６２】
なお、つなぎ目における映像信号と音声信号のタイミングを合わせることが重要であるが詳細な同期方式の説明に関しては、実施の形態３から９で述べる。
【０１６３】
まず、フレーム編集の切り替え時箇所のシームレス再生に応用する場合、図１０のように、ズーム指示信号２８Ｐ等の合成情報を含めた編集データ７６１を編集データ処理部７６２で処理し、切替合成部７６３に送り、切替／合成し、切替合成信号出力部７６４より出力することにより、２つの映像信号をつまりＭＰＥＧのＧＯＰの切れ目以外の任意のポイントでスームレス合成接続できる。
【０１６４】
２画面を指示信号に基づいて任意のポイントで同期再生して合成する方式は図２２を用いて、後述する。
【０１６５】
単純に２つの画像を編集点でフレーム単位に切り替える、単純切替モードの時には、編集ポイントｔｃにおいて、ａストリームとｂストリームを切り替えて、シームレスに出力する。またワイプのように２つの画像を１つの画面に合成しながら切り替える合成切替モードの時は開始点ｔｓから終了点ｔｅの間、ストリームａとストリームｂを合成しながら切り替える。図６と図５８に示すようにモード１は左から右へのワイプ、モード２では中心から周囲へ、モード３では上から下へ、モード４ではモザイク状に切り替える。図６は簡素化したブロック図、図５８は詳細なブロック図を示す。
【０１６６】
この場合、図６の再生手段７７８、分離部７３４、ＶＴＳ同期部７８０、ＭＰＥＧデコーダ７２８、７３０は図３の４８０Ｐ再生装置の構成と全く同じ構成であるため、共用できる。図６に示すように、識別情報処理部７６６が再生制御情報７６６ａを検知すれば、上述のように２つの映像ストリームを切替合成部７６３に送り、接続点ｔｓで第１ストリームから第２ストリームへつなぎ目なしで、切り替える。
【０１６７】
また、図５８の詳細ブロック図に示すように、実施の形態１で述べたように７２０Ｐ／４８０Ｐのような高解像度信号が記録されている階層記録識別子７２５を検知した場合は、合成部７３２ａにて演算を行い４８０Ｐや７２０Ｐの高解像度映像信号を出力する。
【０１６８】
そして、立体記録識別子７６６ｃを検知した場合は、立体信号処理部７７０で、左眼用映像と右眼用映像を交互にインターリーブした立体映像信号を生成して出力する。
【０１６９】
こうして、図５８に示すように、２つのＭＰＥＧデコーダもしくは２ストリームを同時に復号できるＭＰＥＧデコーダを用いたＭＳＳ方式では、フレーム編集の再生制御、高解像度信号再生、立体映像信号再生の３つの機能に兼用することができる。
【０１７０】
図１１に再生制御情報７６５の具体例を示す。再生制御情報７６５には切り替えるアドレス順に、切替点Ｓ、７６６、合成モード７６７第１ストリーム切替開始アドレスｔｓ７６８、第１ストリーム切り替え終了アドレスｔｅ２、７６９、第２ストリームＧＯＰ開始アドレスｔｓＧ、７９０、切替開始アドレスｔｓ２、７７１、切替終了アドレスｔｅ２、７７２が記録されている。
【０１７１】
具体的に述べると切替点番号Ｓ＝１の場合、図１２の（９）に示すように、画像合成識別子７６７がない。つまり０のため切り替え開始アドレスｔｓ１−１で単純に第１ストリームから第２ストリームへ切替えればよい。Ｓ＝２の場合、図１２の（１０）に示すように、ｔｓ１で切り替えを開始し、ｔｅ１まで第１ストリームと第２ストリームの２つの画像を１つの画面上に合成してｔ＝ｔｅ１で第２ストリームを完全に切り替える。
【０１７２】
図１３のフローチャートにより、再生制御情報に基づく再生手順を述べる。
【０１７３】
図１２（１）に示すように、ストリームの書き換え移動を行わず、第１ストリームのＧＯＰ７８１ａと第２ストリームのＧＯＰ７８１ｂは光ディスク上の離れた位置に記録してあってもよい。この場合、書き換え時間を節約できる。図１２（３）に示すように、ＤＶＤ−ＲＡＭディスク等では編集して記録できるのでＧＯＰ単位でストリームの編集ポイントのフレームが入ったＧＯＰ７８１ｅとＧＯＰ７８１ｆを隣接して記録する。この場合、後でＧＯＰ内で編集ポイントを変更するのが可能になる。また、２ストリームをワイプのように画像合成する時には編集ポイントの後の第１ストリームの映像が必要であるため、図１２（３）の構成が必要である。
【０１７４】
Ｓ＝０つまり２画像の合成を行わない場合は、ＧＯＰ７８１ｃの切替点ｔｓ１以降のデータは不要であるため、図１２（２）のＧＯＰ７８１ｃのように削除しては冗長部分はなくなり、記録効率が上がる。ただしＩＮ点であるＧＯＰ７８１ｄの方は、先頭部にｉ（イントラ）フレーム、つまり基本フレームが入っているため削除できないため冗長部７８３が発生する。
【０１７５】
図５９のステップ７９２ａに示すように、実際のフレームは１ＧＯＰに約１５フレームある。ステップ７９２ｂのようにＩＮ点の前に存在するＢフレームを削除するとステップ７９２ｃに示すように、Ｂフレームが削除され冗長部７８３ｆがステップ７９２ａの１２フレームが、ステップ７９２ｃでは冗長部７８３ｇの３フレームに減り、冗長部７８３がこの場合１／４程度になり、記録効率が上がる。
【０１７６】
この部分を再生する場合、ステップ７９２ｆでＢフレーム削除識別子を検知して、Ｂフレームが記録されてないものとして、フレーム数を演算する。ステップ７９２ｇで、Ｉ、ＰフレームのみでＭＰＥＧ復号はできるので、次々とフレームをデコードし、ｔ＝ｔｓ２のＩＮ点のフレームを復号し出力する。この場合３フレーム分の処理でよいため、前述のように１／４の時間で、目的のＩＮ点を再生できる。この例の場合冗長部が１／８秒となる。図５９より、最悪の場合１４フレーム目にｔｓ２がある場合であるが、この場合冗長部はＩ、Ｐ、Ｐ、Ｐ、Ｂの５フレームとなる。つまり１／３×１／２＝１／６秒となる。約０．１８秒が最も長い冗長部である。この時間だけはＩＮ点の再生に必要である。カット部が１秒に約５回存在しても０．２秒間隔となる。従って、Ｂフレームを削除することにより、カット部が１秒に５回ずっと連続しても、本方式でフレーム単位で再生できる。これは通常の編集で問題なく使用できることを意味する。
【０１７７】
再生制御情報の生成方法を述べる。ＯＵＴ点の最後のＧＯＰを第１ＧＯＰ、ＩＮ点の最初のＧＯＰを第２ＧＯＰと定義すると、切り替え位置ｔｓ２の切り替え位置情報として、第２ＧＯＰの先頭時刻と切り替え点の時刻とを記録することにより、簡単に再生制御することができる。別の方法としては、第２ＧＯＰの先頭から切り替え点までのフレーム数を記録してもよい。
【０１７８】
これらの再生制御情報を再生装置で再生する場合は、図５９のステップ７９２ｆに示すように、Ｉ，Ｂ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｂの中、Ｂフレーム（ピクチャー）を処理せずに、切り替え点のフレームを復号する。つまり、Ｉ，Ｐ，Ｐのみを復号する。すると、前述のように１／４の時間で、ＩＮ点の画像を復号できる。この場合１秒に５回のフレーム切り替え点が連続した場合でも、冗長時間が０．１８秒であるので、追随できるためすべての切り替え点をシームレスに再生できる。
【０１７９】
この場合、同期を合わせるためには再生制御情報として、第２ＧＯＰの先頭時刻と切り替え点の時刻より、第２ＧＯＰから何フレーム（ピクチャー）目に切り替え点があるかを演算する。不要フレームであるＢフレームが削除されている場合は、不要フレーム削除識別子をみて、その分補正する。すると、ＩＮ点、ＯＵＴ点より何フレーム早く第２ＧＯＰを再生すれば、第１ＧＯＰのＯＵＴ点と第２ＧＯＰのＩＮ点が同期するかがわかる。
【０１８０】
再生制御情報として、第２ＧＯＰの先頭から何フレーム目に切り替え点があるかが記録されている場合は、Ｂフレーム等の不要フレームの分を補正すれば、いつ第２ＧＯＰを復号開始すれば同期するかがわかる。
【０１８１】
また、再生制御情報として、第１ＧＯＰの特定位置で第２ＧＯＰの復号を開始すれば、第１ＧＯＰの切り替え点と第２ＧＯＰの切り替え点が一致するような復号開始タイミング情報を、記録することもできる。
【０１８２】
この場合、再生制御情報だけで再生装置側では特別な演算なしに、切り替え点同期がとれる。
【０１８３】
また、さらに進めるとこの冗長部７８３には１枚のＩフレームと複数のＰフレーム、Ｂフレームが記録されているが、これらを復号し最後の編集ポイントのフレームの１枚前のフレームを作成し、イントラフレームを作成することにより、さらに記録効率を上げられる。またＤＶＤ−ＲＡＭの場合、全ての再生制御情報７６５、切替点のみの限定再生制御情報７６５ａを図１２（１）、（２）、（３）に示すように記録データの先頭部と編集ポイントの直前の２ヶ所に記録することにより、ｔｏｃとして全体の編集構成が事前にわかる。また、編集ポイントの前には全体の再生制御情報のうち、各々の個別の編集ポイント、例えばＳ＝１のみの限定再生制御情報７６５ａを記録することにより、特殊再生時の再生制御が安定するという効果がある。
【０１８４】
ここで、再生制御の手順を述べる。まずステップ７７４ａで再生制御情報を読み出す。ステップ７７４ｂで再生切替点番号Ｓを０にセットし、ステップ７７４ｃでＳを１つ増す。第２ストリームのデコード開始位置を特定することが求められるので、ステップ７７４ｄで、第１ストリームのシステムクロックもしくはＶＰＴＳをｔとし、ｔａをデコード開始位置情報とすると、ｔ＝ｔａかどうかをチェックする。ｔ＝ｔａになった時点で、つまり図１２の（５）に示すように、第２ストリームのＶＰＴＳがｔａに達した時点でステップ７７４ｅに進み、図１２の（６）に示すように、第２ストリームのＧＯＰのＭＰＥＧデコードを開始する。ステップ７７４ｆでｔ＝ｔｓ１になるかをチェックする。図１２（５）、（６）に示すように（ｔｓ１−ｔａ）＝（ｔｓ２−ｔｓＧ）の値の時間経過後、切替点ｔｓ２に達する。上の式と、図１２（５）（６）が示すように第１ストリームのｔｓ１のデータと第２ストリームｔｓ２のデータが同じ時刻にＭＰＥＧ復号され、デコーダから出力される。この２つのストリームの同期がとれた状態を図１２（８）（９）に示す。具体的な同期のとり方は、実施の形態３から９で詳細に説明する。なお、ｔｓ１とｔｓ２が２つの画像のフレーム編集点であることは、再生制御情報からわかる。ステップ７７４Ｇで、画像合成識別子７６７があるかを確認し、ない場合はステップ７７４ｈへ進み、図１２の（１０）に示すようにｔ＝ｔｓ１の位置で切替合成部７６３（図６）により、第１ストリームから第２ストリームへと切り替える。実際にはｔ＝ｔｓ１はＯＵＴ点であるため、ｔ＝ｔｓ１の第１ストリームのフレームは出力しない。ｔ＝ｔｓ２はＩＮ点であるため、第２ストリームのフレームを出力する。ｔ＝ｔｓ２の時間には第１ストリームのフレーム情報は不要であるため、Ｓ＝０の時つまり画像合成しない時は記録を省略することもできる。この場合、１つのＰフレーム分だけ記録効率は向上する。こうしてＳ＝１番目の単純切替モードの切替ポイントの再生制御は完了し、ステップ７７４ｃに戻り、次のＳ＝２の切替ポイントへと進む。
【０１８５】
この場合ステップ７７４Ｐにおいてｎ＝０ならｎ＝１へ変換する。つまり第２ストリームを第２ＭＰＥＧデコーダ７３０で復号した場合は、第２ストリームをつまり、次に切り替えるべきＭＰＥＧ信号を第１ＭＰＥＧデコーダ７２８で復号する。Ｓ＝１の場合とＭＰＥＧデコーダが異なる。
【０１８６】
これは図５６に示すように、入力されてくる第２ストリーム７８１ａ、７８１ｂ、７８１ｇ、７８１ｈ、７８１ｉを分離部７３４で交互に第１ＭＰＥＧデコーダ７２８と第２ＭＰＥＧデコーダ７３０に振り分け、復号映像７８８ａ、７８８ｂを復号し、切替部７６３で１つのストリームに合成する。図より明らかなように第１ＭＰＥＧデコーダ７２８の出力は復号映像７８８ａを出力した後、停止する。画像がフリーズの状態になってしまう。これはデータが不連続の場合、正常に復号できなくなるからである。レジスタ等の再設定７９０を行いＭＰＥＧ復号を再開する。第２ＭＰＥＧデコーダも同様である。従来のように１つのＭＰＥＧデコーダを用いて、シームレス接続を行うためには、記録的に様々な複雑な前処理を施す必要があったが、本発明では、記録時に複雑な処理を施してないため、シームレスに接続できないＭＰＥＧデータを再生した場合、一方の（第１）ＭＰＥＧデコーダが停止しても、もう一方の（第２）ＭＰＥＧデコーダに切り替えて、この間に停止している（第１）ＭＰＥＧデコーダの再開処理を行うので、２つのＭＰＥＧデコーダで永久にシームレス再生出力が行える。従来複雑な処理が必要とされていたＭＰＥＧのフレーム編集も、本発明を使うことにより、再生制御により実質的には同じ機能を実現できる。特にＭＰＥＧデータを復号して再符号化するプロセスがないため、画像が全く劣化しないという大きな効果が得られる。
【０１８７】
手段をまとめると、複数のストリームを分離して、交互に２つのＭＰＥＧデコーダで復号し、切替点で一方の第１ＭＰＥＧデコーダの復号出力からもう一方の第２ＭＰＥＧデコーダ復号出力に切り替えて出力し、この間に元の第１ＭＰＥＧデコーダを再設定して、次のストリームを復号再開して次の切替点で第２ＭＰＥＧデコーダの出力から第１ＭＰＥＧデコーダの出力に切り替える。
【０１８８】
こうして連続的にシームレス接続がフレーム単位で実現する。
【０１８９】
（合成切替モード）
さて、図１３のステップ７７４Ｇに戻り、画像合成識別子７６７が０以外、つまり２ストリームを図６の合成信号出力部７６４に示すワイプのように１画面に合成して、切り替える場合の手順を述べる。ステップ７７４ｉに進み、図１２の（１１）に示すように第１ストリームから第２ストリームへ、ｔ＝ｔｓ１から合成しながら切り替えてゆき、ステップ７７４ｊでｔ＝ｔｅ１もしくはｔ＝ｔｅ２に達するまで切替を行い、ステップ７７４ｋで完了する。同時にｔ＝ｔｓ１で第１ストリームのデコードを停止するので無駄なデータのデコードは防止される。この合成のモードは画像合成識別子７６７が１、２、３、４の場合に応じて、図６の合成画面７８２ａ、７８２ｂ、７８２ｃ、７８２ｄのように右／左切り替え、中央／周囲切り替え、上／下切り替え、モザイク切り替えのようにスイッチングされる。
【０１９０】
なお、図１２では元のタイムスタンプを変更しない例を示したが、第１ストリームの切替点と第２ストリームの切替点の時間を一致させてＤＶＤーＲＡＭ等を用いて記録する場合はタイムスタンプを変更できるので、構成がより単純になる。ｔｓ１＝ｔｓ２として記録する時、書き換えればよい。この場合、第１ストリームはｔｅ１まで記録すればよい。第２ストリームはｔｓＧをｔｓ１−（ｔｓ２−ｔｓＧ）とつけかえる。この場合ｔｓ１より若いタイムスタンプがつけられる。ｔａはｔｓＧと同じになるので、図１２（６）で再生する場合は図１４に示す再生制御情報７６５ｂからｔｓＧつまり、第２ストリームのＧＯＰの先頭アドレス７７０ａを接続してｔｓＧでデコードを開始すればよい。
【０１９１】
タイムスタンプをつけかえる方式の場合、図１２の（３）のＧＯＰ７６１ｅとＧＯＰ７８１ｆのタイムスタンプの順序が変わるとともに重複する。このため再生した場合、再生装置側で誤動作してしまう。本発明では図１４に示すように、第２ストリームのＧＯＰ開始アドレス７７０ａを、再生制御情報７６５ｂに記録しているため事前にこのタイムスタンプの異常箇所がわかるため、早送り再生時にも誤動作しないという副次効果がある。当然このＧＯＰ開始アドレス７７０ａを用いて、編集ポイントの第２ストリームへの切り替えがより確実になる。
【０１９２】
図１２（６）で再生する場合は、図１４に示す再生制御情報７６５ｂからｔｓＧつまり、第２ストリームの先頭アドレス７７０ａを先読してｔｓＧでデコードを開始すればよい。
【０１９３】
もしくは、編集ポイントｔｓ１の情報さえあれぱ、編集ポイントのＧＯＰの先頭アドレスｔｓＧを先読みしておいて、ｔ＝ｔｓＧの時点で第２ストリームのＧＯＰ７８１ｆのデータをＭＰＥＧデコードすれば、第１ストリームと第２ストリームの編集ポイントがｔｓ１で自動的に一致するという効果がある。
【０１９４】
以上のように、タイムスタンプをつけかえて記録することにより、構成、動作は大幅に簡素化される。
【０１９５】
この第２の記録方法の手順について図１５、１６を用いて説明する。
【０１９６】
図６と図１６を用いて編集／再生制御情報生成プログラムを説明する。これは図６のように、編集カットのＩＮ、ＯＵＴ点が含まれる編集情報７８０が手入力もしくはデータで入力され、再生制御情報生成部７８９により、再生制御情報７６５に次々と変換され、一旦メモリー７７９に蓄積された後、全ての編集作業が完了した後、もしくはディスクが排出される直前にメモリ７７９からＲＡＭのディスク７２４に記録手段７７７により記録される。
【０１９７】
この再生制御情報生成部７８９の中の手順を図１６のフローチャートを用いて詳しく説明する。
【０１９８】
まず、ステップ７８５ａで編集情報７８０が順次手入力、もしくはデータとして入力される。Ｓは編集点の番号、Ｇは２画面をワイプ等により合成しながらスイッチするモード１〜４を示し、ｔｓ０第１ストリームの開始点ｔｓ２ＯＵＴ開始点ｔｅ１ＯＵＴ点の合成完了点、ｔｓ２は第２ストリームのＩＮ点、ｔｅ２は第２ストリームのＩＮ点合成完了点、ｔＬ２は第２ストリームのＯＵＴ点である。
【０１９９】
まずステップ７８５ｂでＳ＝０に設定し、Ｓを１増加し（ステップ７８５ｃ）、ｔｓ０、ｔｓ１を読み込み（ステップ７８５ｄ）、ステップ７８５ｅでＧがあるかをチェックし、ない場合は画像合成する必要がなく、ステップ７８５ｆで第１（Ｓ）ストリームをｔｓ０からｔｓ１まで光ディスク７２４上に記録する。第２（Ｓ＋１）ストリームのＩＮ点ｔｓ２を読み込み（ステップ７８５ｇ）、ステップ７８５ｇでタイムスタンプ変換処理ルーチンに入り、第２ストリームのｔｓ２のフレームが含まれる先頭ＧＯＰの先頭タイムスタンプｔｓＧと先頭ＧＯＰの最後のフレームのタイムスタンプｔｓ２を入手する。第２ストリームの全ての記録データのｔｓＧからｔＬ２まで、タイムスタンプを（ｔｓ２−ｔｓ１）の分だけ減算し、新タイムスタンプを生成する。ステップ７８５ｉでこの新タイムスタンプを用いて、第２ストリームの原アドレスｔｓＧからｔＬ２（ｔｆ２）まで新タイムスタンプ情報のみを新タイムスタンプに入れ替えた上で、第１ストリームの接続点であるｔｓ１のフレームの次のフレーム情報の上に上書きしていく。
【０２００】
この時、ステップ７８５ｗで第２ストリームの先頭ＧＯＰのアドレスｔｓＧを用いて、ｔａ＝ｔｓ１−（ｔｓ２−ｔｓＧ）の演算を行い、第２ストリーム先行デコード時間ｔａを求めて、限定再生制御情報７６５ａと再生制御情報７６５に追加する。ステップ７８５ｊでＳ番号のみの再生制御情報である限定再生制御情報７６５ａを第１（Ｓ）ストリームの後半に、図１２（２）に示すように記録する。ステップ７８５ｊでＳが終了ならステップ７８５ｍへすすみ、未完了ならステップ７８５ｃに戻り、同じステップを繰り返す。ステップ７８５ｍではメモリ７７９に蓄積された全ての編集点の再生制御情報７６５を図１２の（３）に示すように光ディスクのＴＯＣ等の管理情報が記録されている領域の再生制御情報記録部に記録して、終了する。
【０２０１】
ここで、ステップ７８５ｅに大きく戻り、合成識別子Ｇがある場合は、ステップ７８５ｎで第１ストリームのＯＵＴ点合成完了点であるｔｅ１を読み込み、ステップ７８５ｐでｔＧ＝ｔｅ１−ｔｓ１の演算を行い、ステップ７８５ｑでｔＧ＜ｔＧｍａｘならば、次のステップ７８５ｒへ進み、ｔＧがｔＧｍａｘより大きい場合は、２ストリーム合成継続時間が長すぎるため、再生装置のバッファの許容量を越えるため、ステップ７８５ｖで「ｔｅ１を小さい値へ変更せよ」とのエラーメッセージを出し、ステップ７８５ｗでｔｅ１が変更されると、ステップ７８５ｎに戻りｔｅ１を許容値以下にする。
【０２０２】
さて、これで接続点の合成は許容値に収まっているため、ステップ７８５ｒに戻り、第１ストリームをｔｓＧからｔｅ１まで光ディスク上で記録する。ステップ７８５ｓで、第２ストリームのｔｓ２を読み込みステップ７８５ｔで、前述のステップ７８５ｇと同様にして、タイムスタンプ変換処理ルーチンを用いて、タイムスタンプを変換する。ステップ７８５ｕで第２ストリームを原アドレスｔｓＧからｔｆ２（ｔＬ２）まで、タイムスタンプを新タイムスタンプに置き換えながら、第１ストリームのｔｅ１のフレームの次のフレームデータ上に上書きして記録してゆく。そしてｔａをメモリに記録し、ステップ７８５ｊで限定再生制御情報７６５ａを記録し、Ｓが完了したかをチェックし（ステップ７８５ｋ）ステップ７８５ｍで光ディスクに全体の再生制御情報７６５を記録し、全ての作業を完了する。
【０２０３】
このようにして、第１ストリームを接続点まで記録し、その接続点の後から第２ストリームの接続点でタイムスタンプが一致するように、接続点より若い時間のタイムスタンプをつけて上書きすることにより、この光ディスクを再生装置で、同期させながら再生することにより、フレーム単位で接続された映像信号が出力されるという効果が得られる。
【０２０４】
この場合、ＭＰＥＧデコーダが２つ必要となるが、図６に示すように記録再生装置の場合、映像入力信号をＭＰＥＧ信号に符号化するＭＰＥＧエンコーダ７９１を備えている。ＭＰＥＧエンコーダとＭＰＥＧデコーダは同時に使うことはないことと、ＭＰＥＧエンコーダはＭＰＥＧデコーダの２倍以上の処理能力をもつため、１つのＭＰＥＧ処理部は１つのエンコーダもしくは２つのデコーダ機能をもつ。
【０２０５】
従って、本発明をＭＰＥＧエンコーダ付きの記録再生装置に適用した場合、元々２デコーダの能力をもつため、構成を追加することなく、本発明のフレーム編集効果が得られる。
【０２０６】
ＣＰＵを用いてソフトエンコード／デコードする場合は、確実にエンコードのＣＰＵ時間は、デコード処理の倍以上必要で、ソフトエンコードできるＣＰＵは、２ストリームのデコードできる。従って、図５７に説明するようにソフトで１つのストリームをエンコードし、ソフトで２つのストリームを同時もしくは時分割することにより、ＣＰＵの処理能力をあげることなく、本発明の仮想フレーム編集が可能となる。
【０２０７】
図５７のフローチャートを用いて、ＣＰＵを用いてエンコード／デコード、記録／再生の手順を述べる。まず、エンコード記録ステップ７９２ａでは、ｍ＝１〜ラストのデータを入力し、ステップ７９２ｃ、７９２ｄで、第ｍ番目の映像信号を入力し、第ｍ映像信号をエンコードして第ｍストリームを作成し（ステップ７９２ｅ）、光ディスクへ記録する（ステップ７９２ｆ）。ステップ７９２ｇでｍがラストでないなら、ステップ７９２ｃに戻り、ｍがラストなら記録を終了する（７９２ｈ）。このとき、編集再生制御情報記録ステップ７９２ｉでは、フレーム単位の編集を行い、本発明の再生制御情報や、前述した様々な識別子を光ディスクに記録する（図６，図５８）。
【０２０８】
次に再生する時は、再生制御プログラム７９２ｊを起動し、カット点Ｓを１からラストまで再生する（ステップ７７４ｂ、７７４ｃ）。ステップ７７４ｍ、７７４ｅに示すように、フレーム編集されたポイントでは、２つのストリームを同時、もしくは時分割でＭＰＥＧデコードし、ステップ７７４ｈで、ｔ＝ｔｓで片方の復号されたストリームから、もう一方の復号されたストリームへ出力を切り替える。ステップ７７４ｒでｓがラストになるまで、これを繰り返す。
【０２０９】
このＣＰＵは１つのストリームのＭＰＥＧエンコードをする処理能力がある。ということは、２〜３のストリームのＭＰＥＧデコード処理ができることを意味する。従って、同一のＣＰＵで１つのストリームをＭＰＥＧエンコードし、フレーム編集を行い、２つのストリームをＭＰＥＧデコードして、フレーム編集点で、シームレスに再生出力することが可能となるという効果が得られる。本発明により、余っているＭＰＥＧデコード時のＣＰＵパワーを有効に活用できるという効果がある。
【０２１０】
（実施の形態３）
本発明のＭＡＤＭ方式は複数のストリームを同時再生できるものであり、同期方式が重要である。
【０２１１】
実施の形態１で述べた４８０Ｐ、７２０Ｐ等の高解像度映像の記録再生や、実施の形態２で述べた仮想フレーム編集の再生制御方式において、基本的なＡＶ同期方式を説明したが、実施の形態３から９まではさらに詳細に様々な同期の方法を述べる。
【０２１２】
まず、本発明の実施の形態３では、同時に再生すべき３本の圧縮映像信号が記録された光ディスクからデータを読み出し、３本の映像を同時に伸長再生する再生装置のＡＶ同期方式の動作を説明する。
【０２１３】
まず、図３７に実施の形態３の光ディスク再生装置で使用する光ディスク上のデータ構造を示す。
【０２１４】
３本の映像信号である映像信号Ａ、映像信号Ｂ、映像信号ＣをそれぞれＭＰＥＧ圧縮し、圧縮映像ストリームＡ、圧縮映像ストリームＢ、圧縮映像ストリームＣを得る。
【０２１５】
各圧縮映像ストリームＡ〜Ｃは、それぞれ２ＫＢ毎にビデオパケットとしてパケット化される。各パケットのパケットヘッダには格納されているデータが圧縮映像ストリームＡ〜Ｃのいずれであるかを識別するためのストリームＩＤと、パケットにビデオフレームの先頭が格納されている場合には、そのフレームを再生すべき時刻を示す映像再生時刻情報としてのＶＰＴＳ（Ｖｉｄｅｏ Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）が付加される。実施の形態３では各映像信号としてＮＴＳＣの映像を用いており、ビデオフレーム周期は概略３３ｍｓｅｃである。
【０２１６】
光ディスクには、上記のように作成されたビデオパケットを格納データごとに、適当な個数のビデオパケットで圧縮映像信号Ａ−１、圧縮映像信号Ｂ−１、圧縮映像信号Ｃ−１のようにグループ化され、多重化されて記録されている。
【０２１７】
図３５は実施の形態３の光ディスク再生装置のブロック構成図である。
【０２１８】
図３５において、５０１は上記で説明した光ディスク、５０２は光ディスク５０１からデータを読み出す光ピックアップ、５０３は光ピックアップ５０２が読み出した信号に対して２値化、復調、エラー訂正などの一連の光ディスクの信号処理を行う信号処理手段、５０４は信号処理手段５０３から出力されたデータを一時的に格納するバッファメモリ、５０５はバッファメモリ５０４から読み出したデータをそれぞれの圧縮映像信号に分離する分離手段、５０６は基準時刻信号を生成する基準時刻信号生成手段で、図示しない９０ＫＨｚのクロックをカウントするカウンタにより構成されている。５１０、５２０、５３０は分離手段５０５により分離されたそれぞれの圧縮映像信号を一時的に格納するバッファメモリ、５１１、５２１、５３１はそれぞれの圧縮映像信号を伸長再生するビデオデコーダ、５１２、５２２、５３２はそれぞれの映像信号を表示するモニターである。
【０２１９】
図３６にビデオデコーダ５１１、５２１、５３１の構成を示す。
【０２２０】
図３６において、６０１はビデオパケットのパケットヘッダに格納されるＶＰＴＳを検出するＶＰＴＳ検出手段、６０２は圧縮映像ストリームをＭＰＥＧ伸長する映像伸長手段、６０３は基準時刻信号とＶＰＴＳを比較して、比較結果が閾値を越えている場合に映像再生をフレーム単位でスキップもしくはリピートする映像再生タイミング制御手段である。
【０２２１】
図３５に示した光ディスク再生装置の動作について、以下に述べる。
【０２２２】
光ピックアップ５０２は図示しないサーボ手段によりフォーカス制御やトラッキング制御され、光ディスク５０１から信号を読み出し、信号処理手段５０３に出力する。信号処理手段５０３では２値化処理、復調処理、エラー訂正処理など一連の光ディスク信号処理を施し、デジタルデータとしてバッファメモリ５０４に格納する。
【０２２３】
バッファメモリ５０４は光ディスク５０１からのデータ読み出し供給が、回転待ちなどによって一時的に途絶えた場合でも後段に対するデータ供給を途絶えさせないように機能する。
【０２２４】
バッファメモリ５０４から読み出されたデータは分離手段５０５において、圧縮映像信号Ａ〜圧縮映像信号Ｃに分離されて、それぞれ出力される。分離手段はパケット化されたデータのパケットヘッダのストリームＩＤにより各パケットに格納される圧縮映像ストリームがＡ〜Ｃのいずれであるかを識別し、識別結果に応じて出力先を決定する。
【０２２５】
分離された映像圧縮信号はそれぞれバッファメモリ５１０〜５３０に格納される。
【０２２６】
各バッファメモリ５１０〜５３０は、ビデオデコーダ５１１〜５３１に対して連続的にデータを供給するように機能する。
【０２２７】
ビデオデコーダ５１１〜５３１は、それぞれバッファメモリ５１０〜５３０からデータを読み出し、圧縮映像信号を伸長し、映像信号としてモニタ５１２〜５３２に出力する。
【０２２８】
図３６を用いて各ビデオデコーダ５１１〜５３１の動作について述べる。
【０２２９】
バッファメモリから読み出した圧縮映像信号はＶＰＴＳ検出手段６０１と映像伸長手段６０２に入力される。
【０２３０】
映像伸長手段６０２では圧縮映像ストリームに対してＭＰＥＧ伸長処理を施して、映像信号を出力する。
【０２３１】
ＶＰＴＳ検出手段６０１ではパケットヘッダのＶＰＴＳを検出して出力する。
【０２３２】
映像再生タイミング制御手段６０３では映像伸長手段６０２から出力される映像信号と、基準時刻信号、ＶＰＴＳ検出手段６０１から出力されるＶＰＴＳを入力し、基準時刻信号とＶＰＴＳとを比較し、両者の差が閾値を越えた場合にＶＰＴＳと基準時刻信号の差が閾値以下となるように映像再生のタイミングを制御する。
【０２３３】
実施の形態３では、映像再生の為の閾値として、３３ｍｓｅｃを用いており、映像再生タイミング制御手段６０３では、
（基準時刻信号−ＶＰＴＳ） ＞ ３３ｍｓｅｃ ：１フレームスキップ
（基準時刻信号−ＶＰＴＳ） ＜ −３３ｍｓｅｃ：１フレームリピート
を行うものである。
【０２３４】
実施の形態３では基準時刻信号生成手段５０６や各ビデオデコーダ５１１〜５３１で用いている水晶発振器の精度誤差によりビデオデコーダ５１１とビデオデコーダ５３１は基準時刻信号に対して伸長再生の進行が遅く、またビデオデコーダ５２１は基準時刻信号に対して伸長再生の進行が早いため、再生タイミングの補正を行わない場合は、それぞれで再生される映像信号同士の同期がずれることになる。
【０２３５】
図３８に実施の形態３における映像再生のタイミングチャートを示す。図３８の（ａ）は再生時間ｔに対する基準時刻信号を示した図であり、同様に（ｂ）はビデオデコーダ５１１が伸長する圧縮映像信号ＡのＶＰＴＳであるＶＰＴＳ＃Ａを、（ｃ）はビデオデコーダ５２１が伸長する映像圧縮信号ＢのＶＰＴＳであるＶＰＴＳ＃Ｂを、（ｄ）ビデオデコーダ５３１が伸長する映像圧縮信号ＣのＶＰＴＳであるＶＰＴＳ＃Ｃを、それぞれ示している。
【０２３６】
ビデオデコーダ５１１が圧縮映像信号Ａの伸長再生動作を続け、基準時刻信号がＴ１の時点で、ＶＰＴＳ＃Ａと基準時刻信号の差が閾値である３３ｍｓｅｃを越えるため、ビデオデコーダ５１１の映像再生タイミング制御手段が、本来再生すべき１フレームをスキップすることにより、ＶＰＴＳ＃Ａと基準時刻信号の差が閾値以下となるよう再生タイミングを補正する。
【０２３７】
また、ビデオデコーダ５２１が圧縮映像信号Ｂの伸長再生動作を続け、基準時刻信号がＴ２の時点で、ＶＰＴＳ＃Ｂと基準時刻信号の差が閾値である−３３ｍｓｅｃを越えるため、ビデオデコーダ５２１の映像再生タイミング制御手段が、その時点で再生しているフレームをリピート再生することにより、ＶＰＴＳ＃Ｂと基準時刻信号の差が閾値以下となるよう再生タイミングを補正する。
【０２３８】
同様に、ビデオデコーダ５３１は圧縮映像信号Ｃの伸長再生動作を続け、基準時刻信号がＴ３の時点で、ＶＰＴＳ＃Ｃと基準時刻信号と差が閾値である３３ｍｓｅｃを越えるため、ビデオデコーダ５３１の映像再生タイミング制御手段が、本来再生すべき１フレームをスキップすることにより、ＶＰＴＳ＃Ｃと基準時刻信号の差が閾値以下となるよう再生タイミングを補正する。
【０２３９】
上記のように、実施の形態３では基準時刻信号と各ビデオデコーダが検出するＶＰＴＳの差が閾値を越えた場合に、各ビデオデコーダの映像再生タイミング制御手段の補正機能が動作し、基準時刻信号と各ＶＰＴＳの差が閾値を越えないよう保たれ、各ビデオデコーダが再生する映像を同期させることが可能となった。
【０２４０】
（実施の形態４）
本発明の実施の形態４は、音声を再生すべき時刻を示す音声再生時刻情報を用いて、基準時刻信号を補正し、この基準時刻信号により複数の映像信号の同期を合わせる再生装置に関するものである。
【０２４１】
図４１に実施の形態４の光ディスク再生装置で使用する光ディスク上のデータ構造を示す。この光ディスクには実施の形態３で使用した光ディスクに比べて、圧縮音声データも含めて記録されている。
【０２４２】
音声信号を３２ｍｓｅｃ単位でオーディオフレーム化して圧縮し、圧縮音声ストリームを得て、２ＫＢ毎にオーディオパケットとしてパケット化して、光ディスクに記録される。オーディオパケットのパケットヘッダには、格納されているデータが圧縮音声ストリームであることを示すストリームＩＤと、パケットにオーディオフレームの先頭が格納されている場合には、そのオーディオフレームを再生すべき時刻を示す音声再生時刻情報としてのＡＰＴＳ（Ａｕｄｉｏ Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）が付加される。
【０２４３】
図３９に実施の形態４の再生装置のブロック構成図を示す。
【０２４４】
同図５０１〜５３２までは実施の形態３の図３５で示した光ディスク再生装置と同様の構成である。
【０２４５】
５４０は圧縮された音声信号を一時的に格納するバッファメモリ、５４１は圧縮された音声信号を伸長する音声伸長手段、５４２は伸長された音声信号を再生するスピーカーである。
【０２４６】
図４０はオーディオデコーダ５４１の構成を示したもので、７０１はオーディオパケットのパケットヘッダに格納されるＡＰＴＳを検出するＡＰＴＳ検出手段、７０２は圧縮音声ストリームを伸長する音声伸長手段である。
【０２４７】
図３９に示した光ディスク再生装置において、図４１の光ディスクを再生する場合の動作について、以下に述べる。
【０２４８】
分離手段５０５に入力されるまでの動作は実施の形態３で示した光ディスク再生装置と同様である。
【０２４９】
バッファメモリ５０４から読み出されたデータは分離手段５０５において、圧縮映像信号Ａ〜圧縮映像信号Ｃ、圧縮音声信号に分離されて、それぞれ出力される。分離手段５０５はパケット化されたデータのパケットヘッダのストリームＩＤにより各パケットが圧縮映像信号Ａ〜Ｃ、圧縮音声信号のいずれであるかを識別し、識別結果に応じて出力先を決定する。
【０２５０】
分離された圧縮映像信号、圧縮音声信号はそれぞれバッファメモリ５１０〜５４０に一時的に格納される。
【０２５１】
ビデオデコーダ５１１〜５３１は、それぞれバッファメモリ５１０〜５３０からデータを読み出し、圧縮映像信号を伸長し、映像信号としてモニタ５１２〜５３２に出力する。また、オーディオデコーダ５４１はバッファメモリ５４０からデータを読み出し圧縮音声信号を伸長し、音声信号としてスピーカ５４２に出力する。
【０２５２】
ビデオデコーダ５１１〜５３１が圧縮映像信号を伸長する動作、基準時刻信号とＶＰＴＳの差が閾値を越えた場合の同期の補正動作は実施の形態３と同様である。
【０２５３】
バッファメモリ５４０から読み出した圧縮音声信号はオーディオデコーダ５４１に入力され、ＡＰＴＳ検出手段７０１でＡＰＴＳが検出され出力される。音声伸長手段７０２は圧縮音声ストリームに対して伸長処理を施して音声信号を出力する。
【０２５４】
オーディオデコーダ５４１から出力されたＡＰＴＳ信号は基準時刻信号生成手段５０６に入力され、基準時刻信号はこのＡＰＴＳにより補正される。
【０２５５】
実施の形態４では基準時刻信号生成手段５０６や各ビデオデコーダ５１１〜５３１、オーディオデコーダ５４１で用いている水晶発振器の精度誤差により、基準時刻信号の進行はオーディオデコーダ５４１の伸長再生の進行より早く、ビデオデコーダ５１１は基準時刻信号に対して伸長再生の進行が遅く、またビデオデコーダ５２１は基準時刻信号に対して伸長再生の進行が早いため、再生タイミングの補正を行わない場合は、それぞれで再生される映像信号同士、および音声との同期がずれることになる。
【０２５６】
図４２に実施の形態４における映像再生、音声再生のタイミングチャートを示す。図４２の（ａ）は再生時刻ｔに対するＡＰＴＳを示した図であり、同図（ｂ）は基準時刻信号を示した図であり、同様に（ｃ）はビデオデコーダ５１１が伸長する圧縮映像信号Ａを再生すべき時刻ＶＰＴＳ＃Ａを、（ｄ）はビデオデコーダ５１２が伸長する圧縮映像信号Ｂを再生すべき時刻ＶＰＴＳ＃Ｂを示している。
【０２５７】
なお、図４２ではビデオデコーダ５３１が伸長する圧縮映像信号ＣのＶＰＴＳ＃Ｃに関しては示していないが、その経過は実施の形態３の図３８とほぼ同様である。
【０２５８】
基準時刻信号生成手段５０６はＡＰＴＳがｔａ１およびｔａ２を示す時刻でＡＰＴＳを用いて補正され、それぞれの時刻で基準時刻信号がｔａ１およびｔａ２に再設定される。
【０２５９】
ビデオデコーダ５１１が圧縮映像信号Ａの伸長再生動作を続け、基準時刻信号がＴ４の時点で、ＶＰＴＳ＃Ａと基準時刻信号の差が閾値である３３ｍｓｅｃを越えるため、ビデオデコーダ５１１の映像再生タイミング制御手段が、本来再生すべき１フレームをスキップすることにより、ＶＰＴＳ＃Ａと基準時刻信号の差が閾値以下となるよう再生タイミングを補正する。
【０２６０】
同様に、ビデオデコーダ５２１が圧縮映像信号Ｂの伸長再生動作を続け、基準時刻信号がＴ５およびＴ６の時点で、ＶＰＴＳ＃Ｂと基準時刻信号の差が閾値である−３３ｍｓｅｃを越えるため、ビデオデコーダ５２１の映像再生タイミング制御手段が、それぞれの時点で再生しているフレームをリピート再生することにより、ＶＰＴＳ＃Ｂと基準時刻信号の差が閾値以下となるよう再生タイミングを補正する。
【０２６１】
上記のように、実施の形態４では基準時刻信号と各ビデオデコーダが検出するＶＰＴＳの差が閾値を越えた場合に、各ビデオデコーダの映像再生タイミング制御手段の補正機能が動作し、基準時刻信号と各ＶＰＴＳの差が閾値を越えないよう保たれ、各ビデオデコーダが再生する映像信号同士を同期させることが可能となった。
【０２６２】
また、基準時刻信号とＡＰＴＳの差に関しては、基準時刻信号を用いてＡＰＴＳを補正するのではなく、ＡＰＴＳを用いて基準時刻信号を補正することにより、音声の再生に関しては聴覚上の違和感を生じることなく、音声の再生と各映像の再生を同期させることが可能となった。
【０２６３】
（実施の形態５）
本発明の実施の形態５は、１つのビデオデコーダが検出するＶＰＴＳを用いて、基準時刻信号を補正し、この基準時刻信号により複数の映像信号の同期を合わせる再生装置に関するものである。
【０２６４】
図４３に実施の形態５の再生装置のブロック構成図を示す。
【０２６５】
同図５０１〜５３２までは実施の形態３で示した光ディスク再生装置と同様の構成であるが、５５１は実施の形態５で用いるビデオデコーダである。
【０２６６】
ビデオデコーダ５５１は検出したＶＰＴＳを出力する機能を持つもので、図４４にビデオデコーダ５５１の構成を示す。
【０２６７】
８０１は圧縮映像信号に多重化されている映像信号の再生時刻を示すＶＰＴＳを検出するＶＰＴＳ検出手段、８０２は圧縮映像信号を伸長する映像伸長手段である。
【０２６８】
実施の形態５では基準時刻信号生成手段５０６やビデオデコーダ５２１、５３１、５５１で用いている水晶発振器の精度誤差により、基準時刻信号の進行はビデオデコーダ５５１の伸長再生の進行より早く、ビデオデコーダ５２１は基準時刻信号に対して伸長再生の進行が遅く、またビデオデコーダ５３１は基準時刻信号に対して伸長再生の進行が早いため、同期の補正を行わない場合は、それぞれで再生される映像信号同士の同期がずれることになる。
【０２６９】
図４５に実施の形態５における映像出力のタイミングチャートを示す。図４５の（ａ）は再生時間ｔに対するビデオデコーダ５５１が検出するＶＰＴＳ＃Ａを示した図であり、同様に（ｂ）は基準時刻信号を示した図であり、同様に（ｃ）はビデオデコーダ５２１が伸長する圧縮映像信号Ｂを再生すべき時刻ＶＰＴＳ＃Ｂを、（ｄ）はビデオデコーダ５３１が伸長する圧縮映像信号Ｃを再生すべき時刻ＶＰＴＳ＃Ｃを示している。
【０２７０】
基準時刻信号生成手段５０６はＶＰＴＳ＃Ａがｔｖ１およびｔｖ２を示す時刻でＶＰＴＳ＃Ａを用いて補正され、それぞれの時刻で基準時刻信号がｔｖ１およびｔｖ２に再設定される。
【０２７１】
ビデオデコーダ５２１が圧縮映像信号Ｂの伸長再生動作を続け、基準時刻信号がＴ７の時点で、ＶＰＴＳ＃Ｂと基準時刻信号の差が閾値である３３ｍｓｅｃを越えるため、ビデオデコーダ５２１の映像再生タイミング制御手段が、本来再生すべき１フレームをスキップすることにより、ＶＰＴＳ＃Ｂと基準時刻信号との差が閾値以下となるよう再生タイミングを補正する。
【０２７２】
同様に、ビデオデコーダ５３１が圧縮映像信号Ｃの伸長再生動作を続け、基準時刻信号がＴ８およびＴ９の時点で、ＶＰＴＳ＃Ｃと基準時刻信号の差が閾値である−３３ｍｓｅｃを越えるため、ビデオデコーダ５３１の映像再生タイミング制御手段が、それぞれの時点で再生しているフレームをリピート再生することにより、ＶＰＴＳ＃Ｃと基準時刻信号の差が閾値以下となるよう再生タイミングを補正する。
【０２７３】
上記のように、実施の形態５では基準時刻信号とビデオデコーダ５２１、５３１が検出するＶＰＴＳの差が閾値を超えた場合に、各ビデオデコーダの映像再生タイミング制御手段の補正機能が動作し、基準時刻信号と各ＶＰＴＳの差が閾値を越えないよう保たれる。
【０２７４】
また、ビデオデコーダ５５１が検出するＶＰＴＳ＃Ａを用いて基準時刻信号を補正することにより、ビデオデコーダ５５１が再生する映像信号に関してはフレーム単位のスキップやリピート再生に伴う視覚上の違和感を生じることはなく、各映像の再生を同期させることが可能となった。
【０２７５】
（実施の形態６）
本発明の実施の形態６は、圧縮映像信号を伸長再生するビデオデコーダを複数備え、かつ各ビデオデコーダが基準時刻信号生成手段を備えており、音声を再生すべき時刻を示すＡＰＴＳを用いて、各ビデオデコーダの基準時刻信号を補正することにより同期を合わせる再生装置に関するものである。
【０２７６】
実施の形態６では図４１のデータ構造で示す光ディスクを用いた。
【０２７７】
図４６に実施の形態６の光ディスク再生装置のブロック構成図を示す。
【０２７８】
５０１〜５４２は実施の形態４の図３９で示した光ディスク再生装置と同様の構成であり、図３９で示した光ディスク再生装置に比較して基準時刻信号発生手段５０６を独立して備えておらず、各ビデオデコーダ５６１〜５８１に備えられている点が異なる。
【０２７９】
５６１は圧縮映像信号Ａを伸長再生するビデオデコーダ、５７１は圧縮映像信号Ｂを伸長再生するビデオデコーダ、５８１は圧縮映像信号Ｃを伸長再生するビデオデコーダである。
【０２８０】
実施の形態６で用いたビデオデコーダ５６１〜５８１の構成を図４７に示す。
【０２８１】
９０１は圧縮映像信号に多重化されている映像信号の再生時刻を示すＶＰＴＳを検出するＶＰＴＳ検出手段、９０２は圧縮映像信号を伸長する映像伸長手段、９０３は基準時刻信号とＶＰＴＳを比較して、比較結果が閾値を越えている場合に映像再生をフレーム単位でスキップもしくはリピートする映像再生タイミング制御手段、９０４は基準時刻信号を生成する基準時刻信号生成手段、である。
【０２８２】
実施の形態６ではオーディオデコーダ５４１が検出するＡＰＴＳを用いて、ビデオデコーダ５６１〜５８１が備える基準時刻信号生成手段９０４の基準時刻信号を補正する。
【０２８３】
同一のＡＰＴＳを用いて補正されることにより、補正後はビデオデコーダ５６１〜５８１で生成される基準時刻信号は同一の値を示す。
【０２８４】
ＡＰＴＳによる補正後以降は、実施の形態４と同様に、各ビデオデコーダの基準時刻信号とＶＰＴＳの差が閾値を越えた場合に、各ビデオデコーダの映像再生タイミング制御手段がフレーム単位でのスキップもしくはリピート再生し、差が閾値以下となるよう再生タイミングを補正する。
【０２８５】
上記のように、実施の形態６では各ビデオデコーダ内部で生成される基準時刻信号をＡＰＴＳで補正するとともに、各ビデオデコーダの映像再生タイミング制御手段により、各基準時刻信号と各ＶＰＴＳの差が閾値を越えないよう保たれ、各ビデオデコーダが再生する映像信号同士を同期させることが可能となった。
【０２８６】
また、実施の形態４と同様に、音声の再生に関しては聴覚上の不具合を生じることなく、音声の再生と各映像の再生を同期させることが可能となった。
【０２８７】
なお、実施の形態６ではオーディオデコーダ５４１が検出するＡＰＴＳを用いてビデオデコーダ５６１〜５８１の基準時刻信号を補正したが、１つのビデオデコーダに実施の形態５の図４４に示したものを用い、そのビデオデコーダが検出するＶＰＴＳを用いて他のビデオデコーダの基準時刻信号を補正することにより、同様に各映像の再生を同期させることが可能となる。
【０２８８】
（実施の形態７）
本発明の実施の形態７は、２つの圧縮映像信号を同時に再生するもので、２つの圧縮映像信号は立体映像信号を右目用の映像信号と左目用の映像信号とに分離したものをそれぞれ圧縮した信号である。
【０２８９】
装置全体の構成は実施の形態６の図４６に示した光ディスク再生装置の構成とほぼ同様であるが、同時に再生する映像信号が２つであることから、分離手段５０５の後段の圧縮映像信号を伸長するビデオデコーダを２つ備える構成である。実施の形態７で用いる一方のビデオデコーダの構成を図４８に、他方のビデオデコーダの構成を図４９に示す。
【０２９０】
図４８は一方のビデオデコーダで、１００１は圧縮映像信号に多重化されている映像信号の再生時刻を示すＶＰＴＳを検出するＶＰＴＳ検出手段、１００２は入力されたＭＰＥＧ圧縮された映像信号を伸長する映像伸長手段、１００４は基準時刻信号を生成する基準時刻信号生成手段、１００３は基準時刻信号とＶＰＴＳを比較して、比較結果が閾値を越えている場合に映像再生をフレーム単位でスキップもしくはリピートするとともに、再生する映像の水平同期信号、垂直同期信号を出力する映像再生タイミング制御手段である。
【０２９１】
図４９は他方のビデオデコーダで、１１０１は圧縮映像信号に多重化されている映像信号の再生時刻を示すＶＰＴＳを検出するＶＰＴＳ検出手段、１１０２は入力されたＭＰＥＧ圧縮された映像信号を伸長する映像伸長手段、１１０４は基準時刻信号を生成する基準時刻信号生成手段、１１０３は基準時刻信号とＶＰＴＳを比較して、比較結果が閾値を越えている場合に映像再生をフレーム単位でスキップもしくはリピートするとともに、映像信号の水平同期信号、垂直同期信号を入力し、この水平／垂直同期信号に同期して、伸長した映像を再生する映像出力タイミング制御手段である。
【０２９２】
また、それぞれのビデオデコーダは、図４８のビデオデコーダが出力する水平同期信号、垂直同期信号を図４９のビデオデコーダの水平同期信号、垂直同期信号の入力となるよう接続して用いている。
【０２９３】
このように構成された実施の形態７の光ディスク再生装置では、実施の形態６と同様に、右目用、左目用の各ビデオデコーダ内部で生成される基準時刻信号をＡＰＴＳで補正するとともに、各ビデオデコーダの映像再生タイミング制御手段により、各基準時刻信号と各ＶＰＴＳの差が閾値を越えないよう保たれ、右目用、左目用の映像をフレーム単位で同期させることが可能となった。さらに、一方のビデオデコーダが生成する水平同期信号、垂直同期信号を、他方の水平同期信号、垂直同期信号として用いることにより、２つの映像は画素単位で同期して再生されることが可能となった。
【０２９４】
なお、実施の形態７では同時に再生する圧縮映像信号として、立体映像を右目用、左目用に分離した映像信号をそれぞれ圧縮した圧縮映像信号を用いたが、例えば、第１解像度を持つ原映像信号を垂直方向もしく／かつ水平方向に映像信号を分離した第１解像度より低い第２解像度を持つ第１映像信号と第２映像信号を含む少なくとも２つ以上の映像信号に分離し、それぞれを圧縮した圧縮映像信号とすることにより、立体映像の場合と同様に画素単位での同期がとれた複数の映像信号を得ることが可能となり、それらを合成することにより、第１解像度の鮮明な原映像信号を再現することが可能となる。
【０２９５】
（実施の形態８）
実施の形態８は１つ圧縮映像信号と２つの圧縮音声信号をそれぞれ伸長し、同時に再生する光ディスク再生装置に関するものである。
【０２９６】
図５２に実施の形態８で使用する光ディスク上のデータ構造を示す。
【０２９７】
２つの音声信号である音声信号Ｄ、音声信号Ｅをそれぞれ圧縮し、圧縮音声ストリームＤ、圧縮音声ストリームＥを、映像信号を圧縮し圧縮映像ストリームを得る。
【０２９８】
圧縮映像ストリームＤ、Ｅおよび圧縮映像ストリームはそれぞれ２ＫＢ毎にオーディオパケット、ビデオパケットとしてパケット化される。各パケットのパケットヘッダには格納されているデータが圧縮音声ストリームＤ、Ｅもしくは圧縮映像ストリームのいずれであるかを識別するためのストリームＩＤと、前述のＡＰＴＳ、ＶＰＴＳが記録される。
【０２９９】
図５０に実施の形態８の光ディスク再生装置の構成を示す。
【０３００】
実施の形態４の図３９で示した構成とほぼ同様であり、オーディオデコーダ５４１は図４０に示したもの、ビデオデコーダ５３１は図３６に示したものを用いているが、オーディオデコーダ５９１は図５１に示すものを用いている。
【０３０１】
また、５９０は５４０と同様に圧縮音声信号を一時的に格納するバッファメモリ、５９２は音声信号を再生するスピーカである。
【０３０２】
図５１にオーディオデコーダ５９１の構成を示す。
【０３０３】
１２０１は圧縮音声信号に多重化されている音声信号の再生時刻を示すＡＰＴＳを検出するＡＰＴＳ検出手段、１２０２は入力された圧縮音声信号を伸長する音声伸長手段、１２０３は基準時刻信号とＡＰＴＳを比較して、比較結果が閾値を越えている場合に音声再生をオーディオフレーム単位でスキップもしくはポーズする音声再生タイミング制御手段である。
【０３０４】
次に実施の形態８における再生動作について説明する。
【０３０５】
光ディスク５０１から読み出した信号が分離手段５０５に入力されるまでの動作は、他の実施の形態と同様である。
【０３０６】
バッファメモリ５０４から読み出されたデータは分離手段５０５において、圧縮映像信号、圧縮音声信号Ｄ、圧縮音声信号Ｅに分離されて、それぞれ出力される。分離手段５０５はパケット化されたデータのパケットヘッダのストリームＩＤにより各パケットが圧縮映像信号、圧縮音声信号Ｄ、Ｅのいずれであるかを識別し、識別結果に応じて出力先を決定する。
【０３０７】
分離された圧縮映像信号はバッファメモリ５３０に、圧縮音声信号Ｄはバッファメモリ５４０に、圧縮音声信号Ｅはバッファメモリ５９０に一時的に格納される。
【０３０８】
ビデオデコーダは、バッファメモリ５３０からデータを読み出し、圧縮映像信号を伸長し、映像信号としてモニター５３２に出力する。また、オーディオデコーダ５４１、５９１はそれぞれバッファメモリ５４０、５９０からデータを読み出し圧縮音声信号を伸長し、音声信号としてスピーカ５４２、５９２に出力する。
【０３０９】
基準時刻信号生成手段５０６が生成する基準時刻信号は、オーディオデコーダ５４１に検出されるＡＰＴＳ＃Ｄにより補正される。
【０３１０】
オーディオデコーダ５９１では、ＡＰＴＳ検出手段１２０１でＡＰＴＳ＃Ｅを検出し、音声伸長手段１２０２で圧縮音声信号Ｅを伸長する。音声再生タイミング制御手段１２０３では音声伸長手段１２０２から出力される伸長された音声信号と、基準時刻信号、ＡＰＴＳ検出手段１２０１から出力されるＡＰＴＳ＃Ｅを入力し、基準時刻信号とＡＰＴＳ＃Ｅとを比較し、両者の差が閾値を越えた場合にＡＰＴＳ＃Ｅと基準時刻信号の差が閾値以下となるように音声再生のタイミングを制御する。
【０３１１】
実施の形態８では、この音声再生の閾値として３２ｍｓｅｃを用いており、音声再生タイミング制御手段１２０３では、
（基準時刻信号−ＡＰＴＳ＃Ｅ） ＞ ３２ｍｓｅｃ ：１オーディオフレームスキップ、
（基準時刻信号−ＡＰＴＳ＃Ｅ） ＜ −３２ｍｓｅｃ：１オーディオフレームリピート、
を行うものである。
【０３１２】
なお、ビデオデコーダ５３１が圧縮映像信号を伸長する動作、基準時刻信号とＶＰＴＳの差が閾値を越えた場合の同期の補正動作は実施の形態３と同様である。
【０３１３】
実施の形態８では基準時刻信号生成手段５０６やビデオデコーダ５３１、オーディオデコーダ５４１、５９１で用いている水晶発振器の精度誤差によりオーディオデコーダ５４１、５９１は基準時刻信号に対して伸長再生の進行が遅く、またビデオデコーダ５３１は基準時刻信号に対して伸長再生の進行が早いため、再生タイミングの補正を行わない場合は、それぞれで再生される映像信号同士の同期がずれることになる。
【０３１４】
図５３に実施の形態８における映像再生、音声再生のタイミングチャートを示す。図５３の（ａ）は再生時間ｔに対するＡＰＴＳ＃Ｄを示した図であり、同図（ｂ）は基準時刻信号を示した図であり、同様に（ｃ）はオーディオデコーダ５９１が伸長する圧縮音声信号Ｅを再生すべき時刻ＡＰＴＳ＃Ｅを、（ｄ）はビデオデコーダ５３１が伸長する映像信号を再生すべき時刻ＶＰＴＳを示している。基準時刻信号生成手段５０６はＡＰＴＳ＃Ｄがｔａ３およびｔａ４を示す時刻でＡＰＴＳ＃Ｄを用いて補正され、それぞれの時刻で基準時刻信号がｔａ３およびｔａ４に再設定される。
【０３１５】
オーディオデコーダ５９１が圧縮音声信号Ｅの伸長動作を続け、基準時刻信号がＴ１０の時点で、ＡＰＴＳ＃Ｅと基準時刻信号の差が音声再生の閾値である３２ｍｓｅｃを越えるため、オーディオデコーダ５９１の音声再生タイミング制御手段１２０３が、本来再生すべき１オーディオフレームをスキップすることにより、ＡＰＴＳ＃Ｅと基準時刻信号の差が閾値以下となるよう再生タイミングを補正する。
【０３１６】
また、基準時刻信号がＴ１１およびＴ１２の時点で、ＶＰＴＳと基準時刻信号の差が映像再生の閾値である−３３ｍｓｅｃを越えるため、ビデオデコーダ５３１の映像再生タイミング制御手段が、それぞれの時点で再生しているフレームをリピート再生することにより、ＶＰＴＳと基準時刻信号の差が閾値以下となるよう再生タイミングを補正する。
【０３１７】
上記のように、実施の形態８では基準時刻信号とオーディオデコーダ５９１が検出するＡＰＴＳ＃Ｅの差が音声再生の閾値を超えた場合に、音声再生タイミング制御手段の補正機能が動作し、基準時刻信号とＡＰＴＳ＃Ｅの差が音声再生の閾値を超えないように保たれる。また、同様に基準時刻信号とＶＰＴＳの差が映像再生の閾値を超えないように保たれる。さらに、ＡＰＴＳ＃Ｄを用いて基準時刻信号を補正することから、各音声の再生と映像の再生を同期させることが可能となった。
【０３１８】
（実施の形態９）
実施の形態９は音声再生タイミング制御として、伸長再生動作を行うためのクロックを変化させるものを用いた。
【０３１９】
実施の形態９では実施の形態８と比較して装置構成、全体の動作は同じであるが、基準時刻信号とＡＰＴＳ＃Ｅの差が音声再生の閾値を超えた場合に行う、音声再生タイミング制御の動作が異なるものである。図５４および図５５を用いて実施の形態９で用いた音声再生タイミング制御について説明する。
【０３２０】
図５４はＡＰＴＳ＃Ｅと基準時刻信号の差が音声再生の閾値である３２ｍｓｅｃを越えた場合の動作を示したものであり、同図（ａ）は再生時間ｔに対する基準時刻信号を示した図であり、同図（ｂ）はＡＰＴＳ＃Ｅを、（ｃ）はオーディオデコーダ５９１が伸長再生動作を行うクロック周波数を示したものである。
通常の伸長再生動作は、音声信号のサンプリング周波数ｆｓに対する３８４倍のクロックｆ０により行われる。基準時刻信号がＴ１１の時点でＡＰＴＳ＃Ｅと基準時刻信号の差が音声再生の閾値である３２ｍｓｅｃを越えるため、音声再生タイミング制御手段が伸長再生動作のクロックをｆ１に切り替える。ｆ１はｆ０の周波数より１０％高い周波数のクロックである。ｆ１で伸長再生動作を行う場合、ｆ０で伸長再生動作を行う場合に比べて１０％高速に伸長再生動作が進行する。また、ｆ１で伸長再生動作を行う時間は、ＡＰＴＳ＃Ｅと基準時刻信号の差が音声再生の閾値である３２ｍｓｅｃを越えるた時点から３２０ｍｓｅｃの区間とした。この動作により、ＡＰＴＳ＃Ｅと基準時刻信号の差が音声再生の閾値以下となるよう再生タイミングが補正される。
【０３２１】
図５５はＡＰＴＳ＃Ｅと基準時刻信号の差が音声再生の閾値である−３２ｍｓｅｃを越えた場合の動作を示したものであり、同図（ａ）は再生時間ｔに対する基準時刻信号を示した図であり、同図（ｂ）はＡＰＴＳ＃Ｅを、（ｃ）はオーディオデコーダ５９１が伸長再生動作を行うクロック周波数を示したものである。
【０３２２】
基準時刻信号がＴ１２の時点でＡＰＴＳ＃Ｅと基準時刻信号の差が音声再生の閾値である−３２ｍｓｅｃを越えるため、音声再生タイミング制御手段が伸長再生動作のクロックをｆ２に切り替える。ｆ２はｆ０の周波数より１０％低い周波数のクロックである。ｆ２で伸長再生動作を行う場合、ｆ０で伸長再生動作を行う場合に比べて１０％低速に伸長再生動作が進行する。また、ｆ２で伸長再生動作を行う時間は、ＡＰＴＳ＃Ｅと基準時刻信号の差が音声再生の閾値である−３２ｍｓｅｃを越えるた時点から３２０ｍｓｅｃの区間とした。この動作により、ＡＰＴＳ＃Ｅと基準時刻信号の差が音声再生の閾値以下となるよう再生タイミングが補正される。
【０３２３】
上記のように、実施の形態９ではＡＰＴＳ＃Ｅと基準時刻信号の差が音声再生の閾値を超えた場合に、伸長再生動作を行うクロックを変化させ、通常より高速あるいは低速に伸長再生動作を行うことにより、基準時刻信号とＡＰＴＳ＃Ｅの差が音声再生の閾値以下となるよう制御するものであり、聴覚上の違和感を生じることなく、各音声の再生と映像の再生を同期させることが可能となった。
【０３２４】
なお、実施の形態９では伸長再生動作のクロックを通常に比べて１０％ずつ変化させたが、変化幅をより小さく、あるいは段階的に変化させることにより聴覚上より自然にタイミングを制御することが可能であることは明らかである。
【０３２５】
実施の形態８および８ではＡＰＴＳ＃Ｄを用いて基準時刻信号を補正したが、ビデオデコーダに図４４に示したものを用いて、このビデオデコーダから出力されるＶＰＴＳを用いて基準時刻信号の補正を行ってもよい。
【０３２６】
以上、本発明の実施の形態について説明した。
【０３２７】
なお、基準時刻信号とＶＰＴＳやＡＰＴＳとの比較や再生時刻の制御、さらに基準時刻信号をＶＰＴＳやＡＰＴＳを用いての補正を、例えば再生装置全体を制御するマイクロコンピュータによりそれぞれの機能を実現させても良い。
【０３２８】
また、各実施の形態では光ディスク再生装置の例で説明したが、ネットワークやデジタル放送などにより圧縮信号が供給され、それらを伸長再生するセットトップボックスと呼ばれる再生装置に本発明の仮想フレーム編集方式を適用することにより、番組の切り替え時の不連続映像をシームレスに接続することが可能となり効果は高い。
【０３２９】
【発明の効果】
基本映像信号と補間映像信号を、１ＧＯＰ以上のフレーム群に各々分割し、交互にインタリーブしてインタリーブブロックとして光ディスク上に記録することにより、高解像度合成対応型再生装置では、インタリーブブロックの双方の情報を再生することによりプログレシブ映像を得ることができる。またプログレシブ非対応型再生装置で、高解像度映像を記録したディスクを再生した場合は、奇数フィールドもしくは偶数フィールドのインタリーブブロックの一方のみをトラックジャンプして再生することにより、完全な２次元の通常映像を得ることができる。こうして相互互換性が実現するという効果がある。
【０３３０】
とくに高解像度映像の配置情報ファイルを設け、高解像度映像識別子を光ディスクに記録してある。従ってどこに高解像度映像が存在するか容易に判別できるので２つの通常インターレース信号をプログレシブ化することや誤って異なる２つのコンテンツの画像をそれぞれ出力する失敗を防止できるという効果がある。
【０３３１】
また、本発明の２ストリーム同時再生同期方式を用いると、従来、画像の劣化なしでは、ＧＯＰ単位でしか編集できなかったＭＰＥＧ信号の編集をフレーム単位で仮想的に編集することができる。これは再生制御情報を記録することにより再生時にフレーム単位で接続して出力することができる。こうして仮想的なフレーム編集を画像の劣化なしに実現できるという効果がある。
【０３３２】
２ストリーム同時再生同期方式においては、同時に再生すべき複数の圧縮映像信号もしくは複数の圧縮音声信号を伸長再生する際に、それぞれを同期して再生を行うことができる。
【０３３３】
また、オーディオデコーダが検出するＡＰＴＳを用いて基準時刻信号を補正し、この基準時刻信号にＶＰＴＳが一致するよう映像出力タイミングを制御する再生装置では、聴覚上の不具合を引き起こすことなく音声と複数の映像の出力の同期再生が可能となる。
【０３３４】
さらに、音声出力のタイミングを伸長動作クロックを変化させることにより制御する再生装置では、音声のスキップやポーズに起因するノイズを発生することなく、聴覚上違和感を感じさせることなく同期再生を行うことが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施の形態の７２０Ｐ／４８０Ｐ階層型記録装置のブロック図
【図２】本発明の一実施の形態の４８０ｉ／４８０Ｐ／７２０Ｐ（６０）再生装置のブロック図
【図３】本発明の一実施の形態の４８０Ｐ／７２０Ｐ（２４／６０）再生装置のブロック図
【図４】本発明の一実施の形態の水平方向合成方式再生装置（７２０Ｐ出力）のブロック図
【図５】本発明の一実施の形態の３階層型光ディスク記録装置のブロック図
【図６】本発明の一実施の形態のフレーム単位の再生制御方式の記録再生装置のブロック図
【図７】本発明の一実施の形態の再生制御情報記録方式の記録装置のストリーム記録手順図
【図８】本発明の一実施の形態の光ディスクを既存の再生装置で再生した場合と本発明の再生装置で再生した場合の比較図
【図９】本発明の一実施の形態の光ディスクの記録時間と容量の関係図
【図１０】本発明の一実施の形態の階層型再生装置の４８０Ｐ再生モードのブロック図
【図１１】本発明の一実施の形態の再生制御情報のデータ構造を示す図
【図１２】本発明の一実施の形態の記録装置の複数のストリームの記録手順および再生装置の再生手順を示す図
【図１３】本発明の一実施の形態の再生装置における、２つのストリームを再生制御情報に基づき再生制御するフローチャート
【図１４】本発明の一実施の形態のストリームのタイムスタンプを連続させた場合の再生制御情報のデータ構造図
【図１５】本発明の一実施の形態の記録再生装置の記録および再生ストリームを示す図
【図１６】本発明の一実施の形態の記録装置における編集および再生制御情報生成手順を示すフローチャート
【図１７】本発明の一実施の形態の管理情報データの解像度を含む画像識別子のデータ構造図
【図１８】本発明の一実施の形態の再生装置の別の方式のＭＰＥＧデコーダを示すブロック図
【図１９】本発明の一実施の形態のマルチアングル映像分割多重記録方式の原理図
【図２０】本発明の一実施の形態の水平、垂直方向の補間情報を分離してインタリーブブロックに記録する方法を示す図
【図２１】本発明の一実施の形態の水平方向に２分割するＭＡＤＭ方式の原理図
【図２２】本発明の一実施の形態の再生装置の画像合成制御を示す図
【図２３】本発明の一実施の形態のプログレシブ信号とＮＴＳＣ信号とＨＤＴＶ信号を出力する信号配置図
【図２４】本発明の一実施の形態のプログレシブ、立体、ワイド信号の再生時のバッファを説明する図
【図２５】本発明の一実施の形態の再生装置のインターレース映像信号出力モード時のブロック図
【図２６】本発明の一実施の形態の第１デコーダと第２デコーダ間をＡＶ同期させるフローチャート
【図２７】本発明の一実施の形態の２つのバッファ部を制御するフローチャート
【図２８】本発明の一実施の形態のデータストリームがデコーダのバッファ、デコード処理を経て、再生出力されるタイミング図
【図２９】本発明の一実施の形態のシステム制御部Ｍ１−９によるプログラムチェーン群の再生処理の詳細な手順を示すフローチャート
【図３０】本発明の一実施の形態のＡＶ同期制御１２−１０に関するＡＶ同期を行う部分構成を示すブロック図
【図３１】本発明の一実施の形態のデータ復合処理部のブロック図
【図３２】本発明の一実施の形態の画像識別子の信号フォーマットを示す図
【図３３】本発明の一実施の形態のシームレス接続時のＳＴＣ切替のフローチャート
【図３４】本発明の一実施の形態の水平フィルタ回路の処理を示す図
【図３５】本発明の一実施の形態による光ディスク再生装置のブロック構成図
【図３６】本発明の一実施の形態によるビデオデコーダの構成図
【図３７】本発明の一実施の形態による光ディスク上のデータ構造を示す図
【図３８】本発明の一実施の形態による映像再生のタイミングチャート
【図３９】本発明の一実施の形態による光ディスク再生装置のブロック構成図
【図４０】本発明の一実施の形態によるオーディオデコーダの構成図
【図４１】本発明の一実施の形態による光ディスク上のデータ構造を示す図
【図４２】本発明の一実施の形態による音声、映像再生のタイミングチャート
【図４３】本発明の一実施の形態による光ディスク再生装置を示す図
【図４４】本発明の一実施の形態によるビデオデコーダの構成図
【図４５】本発明の一実施の形態による映像再生のタイミングチャート
【図４６】本発明の一実施の形態による光ディスク再生装置のブロック構成図
【図４７】本発明の一実施の形態によるビデオデコーダの構成図
【図４８】本発明の一実施の形態によるビデオデコーダの構成図
【図４９】本発明の一実施の形態によるビデオデコーダの構成図
【図５０】本発明の一実施の形態による光ディスク再生装置のブロック構成図
【図５１】本発明の一実施の形態によるオーディオデコーダの構成図
【図５２】本発明の一実施の形態による光ディスク上のデータ構造を示す図
【図５３】本発明の一実施の形態による音声、映像再生のタイミングチャート
【図５４】本発明の一実施の形態による音声再生と動作周波数のタイミングチャート
【図５５】本発明の一実施の形態による音声再生と動作周波数のタイミングチャート
【図５６】本発明の一実施の形態による再生装置におけるストリームの流れを示す図
【図５７】本発明の一実施の形態による記録再生装置におけるＭＰＥＧ符号化と編集／再生制御情報生成と再生制御手順を示すフローチャート
【図５８】本発明の一実施の形態によるフレーム単位の再生制御方式の記録再生装置のブロック図
【図５９】本発明の一実施の形態による不要フレーム削除の手順を示す図
【図６０】本発明の一実施の形態による相互認証方式の再生装置とＴＶモニターのブロック図
【符号の説明】
１ 光ディスク
１６ ＭＰＥＧデコーダ
２１ 制御部
２３ａ，２３ｂ バッファ回路
２５ ＳＷ回路
２６ 立体映像配置情報再生部
２７ ＳＷ回路
２８ ＲＬ混合回路
２９ Ｒ出力部
３０ Ｌ出力部
３１ 映像出力部
３２ 音声出力部
３３ “立体”表示信号出力部
３４ モーター
３５ 回転制御回路
３９ メモリ
４３ ３Ｄ対応再生装置
７０７ ４８０Ｐ映像信号
７１０ ４８０Ｐ映像信号
７１７ ＭＰＥＧエンコーダー
７１８ａ 第３インターリーブブロック
７２３ 記録手段
７２４ ディスク
７２５ 階層記録識別子
７２６ 特定インターリーブブロック再生禁止手段
７２７ ＭＰＥＧデータ
７２８ ＭＰＥＧデコーダ
７２９ ４８０Ｐ信号
７３０ ＭＰＥＧデコーダ
７３１ 差分信号
７３２ 合成部
７３３ ７２０Ｐ信号
７３４ 分離部
７３５ 第１バッファメモリ
７３６ 第２バッファメモリ
７３７ａ，７３７ｂ ２−３変換部
７３８ ４８０Ｐ−７２０Ｐアップコンバーター
７３９ ７２０Ｐ信号
７４０ 演算部
７４１ ２−３変換部
７４３ 階層型再生装置
７４４ 解像度−属性識別情報
７４５ 識別情報処理部
７４６ ３−２プルダウン部
７４７ 分離部
７４８ 合成部
７４９ ４８０ｉ信号
７５１ 変調部
７５２ 送信部
７５３ 受信部
７５４ 復調部
７５５ 合成部
７５６ａ フィールドフレーム変換部
７５８ 合成部
７５９ Ｗ４８０Ｐ映像信号
７６０ Ｗ４８０Ｐ−７２０Ｐ変換部
７６３ 切替合成部
７６４ 切替合成信号出力部
７６５ 再生制御情報
７６６ 切り替え点番号
７６７ 画像合成識別子
７６８ 切り替え開始アドレス
７６９ 切り替え終了アドレス
７７０ ＧＯＰ開始アドレス
７７１ 切り替え開始アドレス
７７２ 切り替え終了アドレス
７７３ デコード開始アドレス
７７７ 記録手段
７７８ 再生手段
７７９ メモリー
７８０ ＶＴＳ同期部
７８１ ＧＯＰ
７８２ａ，７８２ｂ，７８２ｃ，７８２ｄ 合成画面
７８３ 冗長部
７８５ フローチャート（記録手段）
７８６ アップコンバート命令
７８７ アップコンバート識別子
７８９ 再生制御情報生成部
７９０ 編集情報
７９１ ＭＰＥＧエンコーダ
７９２ フローチャート（不要フレーム削除）
７９４ａ，７９４ｂ 相互認証部
７９５ 暗号エンコーダ
７９６ 通信インターフェース部
７９７ 暗号デコーダ
７９８ ＴＶモニター
７９９ａ，７９９ｂ （暗号）鍵[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an optical disc on which image quality video and general video are recorded, and a recording / reproducing apparatus for the optical disc.
[0002]
[Prior art]
Conventionally, as an optical disc and a playback device on which high-quality video is recorded, a progressive recording method called 480P or 720P has been studied. Further, as an optical disc playback control system, a playback control system using one MPEG decoder has been known.
[0003]
[Problems to be solved by the invention]
First, the first problem of the conventional method will be described. When a conventional high-definition video recording type optical disc is played back by a standard playback device, a normal image is not output. High-quality video recording optical disks can only be played back by high-quality playback devices. For this reason, it was necessary to produce two types of the same content. In other words, conventional high-quality optical discs are not compatible with normal images. Next, the object of the invention will be described. A first object of the present invention is to provide a compatible high-quality optical disk and playback system.
[0004]
To clarify the definition of compatibility, it is just the compatibility of the relationship between past mono records and stereo records. That is, the new three-dimensional optical disk and high-resolution disk of the present invention are output at the normal resolution in an existing playback device such as a DVD, and the high-resolution video is output in the new playback device using the present invention.
[0005]
Next, the problem of the reproduction control method will be described as a second problem. The conventional reproduction control method is a method of reproducing one stream using one decoder. Therefore, a complicated system is required to connect the resolution signals seamlessly without stopping the movement of the two streams. The second object is to propose playback control for seamlessly connecting a plurality of streams with a simple procedure.
[0006]
[Means for Solving the Problems]
An optical disc reproducing apparatus according to the present invention is an optical disc reproducing device for reproducing a signal recorded on an optical disc, and the optical disc includes a first video stream representing a low frequency component of a video signal and at least a high frequency component of the video signal. At least a second video stream is recorded, the first video stream includes a plurality of first interleave units, the second video stream includes a plurality of second interleave units, and the plurality of first interleaves. Each of the units includes m1 (m1 is an integer greater than or equal to 1) GOP, each of the plurality of second interleave units includes m2 (m2 is an integer greater than or equal to 1) GOP, Playing back the first video stream and the second video stream recorded on the optical disc A live unit, a decomposing unit for decomposing the reproduced first video stream into the plurality of first interleave units, and decomposing the reproduced second video stream into the plurality of second interleave units; By decoding the first interleave unit, a first reproduction signal representing the low frequency component of the video signal is generated, and by decoding the plurality of second interleave units, at least the high frequency component of the video signal. A decoding unit that generates a second reproduction signal representing the image, a synthesis unit that generates the video signal by combining the first reproduction signal and the second reproduction signal, the first reproduction signal, and the second reproduction signal. An output unit that selectively outputs at least one of a reproduction signal and the video signal is provided, thereby achieving the above object.
[0007]
Each of the plurality of first interleave units is associated with first time information related to the reproduction time, and each of the plurality of second interleave units is associated with second time information related to the reproduction time. It may be done.
[0008]
The optical disc reproducing apparatus controls a reproduction time of the first reproduction signal according to a difference between the reference time signal and the first time information according to a reference time signal generation unit that generates a reference time signal. A control unit; a second reproduction control unit that controls a reproduction time of the second reproduction signal according to a difference between the reference time signal and the second time information; and the first reproduction control unit. The image processing apparatus may further include a correction unit that corrects the reference time signal so that the reference time signal and the reference signal supplied to the second reproduction control unit represent substantially the same time.
[0009]
The correction unit may correct the reference time signal based on audio reproduction time information indicating a time at which an audio signal to be output in synchronization with the video signal is to be reproduced.
[0010]
The correction unit is based on at least one of first video reproduction time information indicating a time at which the first reproduction signal is to be reproduced and second video reproduction time information indicating a time at which the second reproduction signal is to be reproduced. The reference time signal may be corrected.
[0011]
The first reproduction control unit controls the reproduction time of the first reproduction signal by skipping or repeatedly reproducing the frame of the first reproduction signal, and the second reproduction control unit is configured to control the second reproduction signal. The reproduction time of the second reproduction signal may be controlled by skipping or repeating the reproduction signal frame.
[0012]
At least one of the first time information and the second time information may include at least one of PTS, DTS, and SCR.
[0013]
The first reproduction signal corresponds to a first number of pixels, the second reproduction signal corresponds to a second number of pixels larger than the first number of pixels, and the synthesis unit converts the first reproduction signal to And a converter for converting into a conversion signal corresponding to the second pixel number, and the video signal may be obtained by synthesizing the conversion signal and the second reproduction signal.
[0014]
An identifier indicating the first pixel number corresponding to the first reproduction signal is further recorded on the optical disc, and the converter converts the first reproduction signal into the converted signal according to the identifier. Also good.
[0015]
An identifier indicating a first pixel number corresponding to the first reproduction signal is further recorded on the optical disc, and the optical disc reproduction apparatus further includes a rotation control unit that controls the rotation of the optical disc, The rotation control unit may control the rotation of the optical disc according to the identifier.
[0016]
An identifier indicating that the video signal is obtained by encoding a progressive video signal of 24 to 30 frames per second is recorded on the optical disc, and the output unit includes the first reproduction signal, A converter for converting at least one of the second reproduction signal and the video signal into a frame signal, and the output unit outputs the frame signal in a redundant manner to progressively output 60 frames per second; A video signal may be output.
[0017]
The optical disc playback apparatus further includes a buffer memory unit that stores the plurality of first interleave units and the plurality of second interleave units, and the capacity of the buffer memory unit is included in the second interleave unit. It may be more than the data amount of GOP.
[0018]
The capacity of the buffer memory unit may be 1 MB or more.
The optical disc of the present invention records at least a first video stream representing a low frequency component of a video signal and a second video stream representing at least a high frequency component of the video signal, and the first video stream includes a plurality of first video streams. One interleave unit, the second video stream includes a plurality of second interleave units, each of the plurality of first interleave units includes m1 (m1 is an integer of 1 or more) GOPs, and the plurality of second interleave units. Each of the two interleave units includes m2 (m2 is an integer of 1 or more) GOPs, thereby achieving the above object.
[0019]
The first interleave unit and the second interleave so that one playback time of the plurality of first interleave units and one corresponding playback time of the plurality of second interleave units are substantially equal. A unit may be configured.
The optical disk recording apparatus of the present invention includes a separation unit that separates a video signal into a first video signal that represents a low frequency component of the video signal and a second video signal that represents at least a high frequency component of the video signal; An encoding unit that generates a first video stream by encoding one video signal and generates a second video stream by encoding the second video signal, wherein the first video stream is A plurality of first interleave units, the second video stream includes a plurality of second interleave units, and each of the plurality of first interleave units includes m1 (m1 is an integer of 1 or more) GOPs, Each of the plurality of second interleave units is included in the first video stream including an encoding unit including m2 (m2 is an integer of 1 or more) GOP. A selection output unit that selectively outputs the plurality of first interleave units and the plurality of second interleave units included in the second video stream, and a recording that records a signal output from the selection output unit on an optical disc The above-mentioned object is achieved by this.
[0020]
The separation unit includes a decoder that decodes the first video stream, and a difference calculator that calculates a difference between the video signal and a signal output from the decoder, and the separation unit includes: A signal output from the difference calculator may be output as the second video signal.
[0021]
The separation unit converts the video signal into a first conversion signal corresponding to a second pixel number smaller than the first pixel number corresponding to the video signal, and a signal output from the decoder Is converted to a second converted signal corresponding to a first number of pixels larger than a second number of pixels corresponding to a signal output from the decoder, and the separation unit includes The first conversion signal may be output as the first video signal, and the difference calculator may calculate a difference between the video signal and the second conversion signal.
[0022]
The recording unit may further record an identifier indicating that the second video signal is a signal output from the difference calculator on the optical disc.
[0023]
The recording unit may further record an identifier indicating a first pixel number corresponding to the video signal on the optical disc.
[0024]
The recording unit may further record an identifier indicating a second number of pixels corresponding to the first video signal on the optical disc.
The optical disc recording apparatus of the present invention includes an encoded first video stream corresponding to the first number of pixels and an encoded second video stream corresponding to a second number of pixels different from the first number of pixels. An input unit for inputting, wherein the first video stream includes a plurality of first interleave units, the second video stream includes a plurality of second interleave units, and each of the plurality of first interleave units is m1. (M1 is an integer greater than or equal to 1) GOPs, and each of the plurality of second interleave units includes m2 (m2 is an integer greater than or equal to 1) GOPs, and is included in the first video stream. A selective output unit that selectively outputs the plurality of first interleave units and the plurality of second interleave units included in the second video stream; And a recording section for recording the signal output from the selection output section on an optical disc, thereby the objective described above being achieved.
[0025]
An optical disk reproducing apparatus according to the present invention is an optical disk reproducing apparatus for reproducing a signal recorded on an optical disk, and the optical disk includes a first video stream including a plurality of first GOPs and a second video stream including a plurality of second GOPs. Are recorded at least, each of the plurality of first GOPs includes a plurality of pictures, each of the second GOPs includes a plurality of pictures, and the optical disc playback apparatus records the first video recorded on the optical disc. A reproduction unit that reproduces the stream and the second video stream, a decoding unit that decodes the first video stream and the second video stream, and the decoded first video stream according to reproduction control information, An output unit that selectively outputs the decoded second video stream, wherein the playback control information is the first video stream. The second GOP included in the first second GOP of the plurality of second GOPs included in the second video stream following the first picture included in the last first GOP among the plurality of first GOPs included in the video stream. This shows that a second picture that is a picture and is different from the first picture of the first second GOP is reproduced, thereby achieving the above object.
[0026]
The decoding unit may start decoding the second video stream so that the decoding of the second picture is completed when the reproduction of the first picture is completed.
[0027]
The reproduction control information includes information ts1 indicating the position of the first picture, information ts2 indicating the position of the second picture, and information tsG indicating the position of the leading picture of the leading second GOP. The unit may obtain a decoding start position ta according to a calculation formula ta = ts1- (ts2-tsG), and start decoding the second video stream based on the decoding start position ta.
[0028]
The playback control information includes timing information indicating a timing for starting decoding of the first second GOP so that a playback end time of the first picture matches a playback start time of the second picture, and the decoding unit May start decoding the second video stream based on the timing information.
[0029]
The decoding unit may omit decoding of pictures unnecessary for decoding pictures from the first picture to the second picture of the first second GOP.
[0030]
The unnecessary picture may be a B picture.
[0031]
The optical disc playback apparatus may further include a buffer memory unit that stores the first video stream and the second video stream, and a capacity of the buffer memory unit may be greater than or equal to a data amount of 1 GOP.
[0032]
The reproduction control information may be further recorded on the optical disc, and the reproduction unit may reproduce the reproduction control information recorded on the optical disc.
[0033]
An identifier indicating whether or not the reproduction control information is recorded on the optical disc is further recorded on the optical disc, and the reproduction unit indicates that the reproduction control information is recorded on the optical disc. In this case, the reproduction control information recorded on the optical disc may be reproduced.
[0034]
In the fast playback mode, the output unit may prohibit the output of the I picture included in the first second GOP when the second picture is not an I picture.
[0035]
The output unit may prohibit outputting a part of the I picture included in the first second GOP based on the I picture reproduction prohibition information.
[0036]
The playback control information generation device of the present invention includes an input unit that inputs a first video stream including a plurality of first GOPs and a second video stream including a plurality of second GOPs, and the plurality of the plurality of video streams included in the first video stream Following the first picture included in the last first GOP of the first GOP, the second picture included in the first second GOP among the plurality of second GOPs included in the second video stream, And a generation unit that generates reproduction control information indicating that a second picture different from the first picture of the second GOP is reproduced, whereby the above object is achieved.
[0037]
The reproduction control information may include information indicating the number of pictures from the first picture to the second picture of the first second GOP.
[0038]
The reproduction control information may include information indicating a time at which the first picture of the first second GOP is to be reproduced and a time at which the second picture of the first second GOP is to be reproduced.
[0039]
The playback control information may include timing information indicating a timing for starting decoding of the first second GOP so that a playback end time of the first picture matches a playback start time of the second picture. .
[0040]
The timing information indicates a timing at which decoding of the head second GOP is started when a picture unnecessary for decoding pictures from the head picture to the second picture of the head second GOP is not decoded. Also good.
[0041]
The unnecessary picture may be a B picture.
[0042]
The optical disc recording apparatus of the present invention is configured to generate the reproduction control information, and the reproduction control information on an optical disc on which a first video stream including a plurality of first GOPs and a second video stream including a plurality of second GOPs are recorded. The playback control information is stored in the second video stream following the first picture included in the last first GOP among the plurality of first GOPs included in the first video stream. The second picture included in the first second GOP among the plurality of second GOPs included in the second GOP, and the second picture different from the first picture of the first second GOP is reproduced. The objective is achieved.
[0043]
The optical disc recording apparatus of the present invention deletes a picture unnecessary for playback from a first video stream including a plurality of first GOPs and a second video stream including a plurality of second GOPs according to playback control information. An editing unit that edits the video stream and the second video stream; and a recording unit that records the edited first video stream and the edited second video stream on an optical disc; , Following the first picture included in the last first GOP among the plurality of first GOPs included in the first video stream, to the first second GOP among the plurality of second GOPs included in the second video stream. It is shown that the second picture included is a second picture that is different from the first picture of the first second GOP. , Thereby the objective described above being achieved.
[0044]
The pictures unnecessary for reproduction may include a picture after the first picture in the first video stream and a picture before the second picture in the second video stream.
[0045]
The pictures unnecessary for reproduction may further include pictures unnecessary for decoding pictures from the first picture of the first second GOP to the second picture in the second video stream.
[0046]
The unnecessary picture may be a B picture.
[0047]
The recording unit may record the edited first video stream and the edited second video stream in a continuous area on the optical disc.
[0048]
The recording unit may record the reproduction control information on the optical disc.
[0049]
The recording unit may record the reproduction control information on a recording medium other than the optical disc.
[0050]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0051]
(Embodiment 1)
(720P / 480P hierarchical recording / playback system)
A specific hierarchical recording apparatus having two
[0052]
In the case of a movie, an
[0053]
The
[0054]
When the
[0055]
This effect is also useful when the 720P signal itself is recorded in the second interleave block. In this case, the 720P signal is directly input to the MPEG encoder 717 as indicated by the arrow marked * in FIG.
[0056]
Thus, when the
[0057]
Instead of the 720P signal, the 480P signal itself may be recorded in the second interleave block. In this case, the conventional playback device plays back the first interleave block, so that 480i (NTSC) is output. In the playback device of the present invention, either the first interleave block is 480i or the second interleave block is 480P. One or both can be played back.
[0058]
On the other hand, in the reproducing apparatus of the present invention, the basic signal is reproduced from the
[0059]
As described above, when the playback device of the present invention plays back the
[0060]
When 480P itself is recorded in the second interleave block, 480P, that is, a NTSC double-density signal is reproduced.
[0061]
A more specific operation of the playback apparatus in FIG. 8 will be described with reference to FIG. Description of overlapping blocks is omitted.
[0062]
On the
[0063]
The
[0064]
In this case, the MPEG decoded signal is not converted to 60 frames by the 2-3
[0065]
1 and 3 describe a method of recording and reproducing a 24-frame signal of a 720P signal such as a movie in a hierarchical manner, but this method has a great merit. In the case of HDTV, there are 1080i system and 720P system, but in the case of movie 1080i (24 frames) as shown in FIG. 9, the capacity of a dual-layer DVD is 8.5 Gb as shown by curve 742a. Only minutes can be recorded.
[0066]
On the other hand, in the case of 720P (24 frames), 150 minutes can be recorded as shown by a
[0067]
FIG. 3 shows an example of reproducing a disc in which 480P, which is basic information of 720P, is recorded in the first interleave block, and a difference information between 720P and 480P is recorded in the second interleave block. Is reproduced, the output of the
[0068]
Here, an embodiment in which a decoder is mounted on the
[0069]
With this method, even when two streams are cryptographically authenticated, the effect that the original image is decrypted by performing processing such as composition by the
[0070]
Next, the reproducing operation when reproducing the
[0071]
(Difference method diagram 19)
Here, the concept of the sum difference method will be described with reference to FIG. Since the video signal is divided into a high frequency region and a low frequency region in the vertical direction and the horizontal direction, and divided and recorded in each multi-angle angle, it is called a multi-angle video multiplexing method (MADM). As shown in FIG. 19, the
[0072]
FIG. 19 shows an example in which the 480P video signal is divided into two in the vertical direction, and FIG. 21 to be described later shows an example in which the 480P video signal is divided into two in the horizontal direction. Dividing into 30 frames of odd-numbered frames and 30 frames of even-numbered frames, converting each 30P signal into two interlace signals of 60 fields, MPEG-encoding each signal and recording in MADM format You can also. In this case, since the encoding is performed progressively, the encoding efficiency is improved in the same manner as in a movie, so that the recording time is increased.
[0073]
In this case, in the playback apparatus that does not support MADM, the first channel, that is, 30P, that is, a frame-dropped 525 interlace signal is reproduced.
[0074]
In the MADM compatible playback device, the 30P signal is played back as a basic signal and the 30P signal is played back as an auxiliary signal. The two 30-frame signals are synthesized by a frame synthesizing unit including a frame buffer into one regular 480P signal of 60 frames and output.
[0075]
If a line doubler is added to the 480P output unit, a 1050P image can be obtained.
[0076]
When a 525 interlace signal is input to the sum signal portion and a 0 value is input to the difference signal of the MADM combining portion, a 480P video is obtained. In other words, it has the same effect as a line doubler. With this method, 480 P of 525 interlaced signals can be output, so that all video can be viewed simply by connecting a single cable to the progressive input terminal.
[0077]
In FIG. 19, ½ (A + B) and ½ (A−B) are used as filter calculation formulas from two taps. In this case, the separation frequency is about 300 lines.
[0078]
As shown in FIG. 19, the
[0079]
In the
[0080]
At the start point of 720P, it is recorded on the disc that 720P-main is the first interleave block and 720P-sub is the second interleave block, as indicated by Vts = 6 in FIG. The identification
[0081]
When the 480P identifier is recorded as the identification information 744 (FIG. 17), as shown in FIG. 10, the identification
[0082]
Thus, since the
[0083]
In the 480P playback mode shown in FIG. 10, the 480P /
[0084]
(720P / 480P /
The configuration and operation of a
[0085]
On the other hand, the MPEG stream of 480i is separated into nGOP-based interleave blocks by the multiplexing means 719a, and the
[0086]
In this case, hierarchical broadcasting can be performed by modulating the multiplexed signal by 8VSB, QAM, or
[0087]
Thus, a three-level hierarchical disk or hierarchical broadcasting of 480i, 480P (60), and 720P is realized.
[0088]
The operation of reproducing this
[0089]
In this way, outputs of three different resolutions of
[0090]
In FIG. 2, when the identification
[0091]
A first resolution identifier indicating a low resolution such as NTSC of an image of the first stream and a second resolution identifier indicating a high resolution such as 720P of the second and third streams are reproduced from the
[0092]
Also, the
[0093]
In particular, since the
[0094]
In addition, a receiving unit 753 and a
[0095]
(
The concept of the MADM system when divided in the horizontal direction will be described with reference to FIG. A wide 480P such as 1440 × 480P is suitable for movies. This signal can be converted into a 1440 × 480i interlace signal by the 3-2 converter 174. The horizontal filter unit 206a divides it into two in the horizontal direction. The principle of this filter is shown in FIGS. As shown in (b), 1440 dots are divided into odd dots 263a and 263b and even
[0096]
Returning to FIG. 21, the horizontal sum signal thus obtained is reduced to 720 dots in the horizontal direction, but since it passes through the horizontal filter, the aliasing distortion is suppressed to the same level as the NTSC signal. Therefore, since the conventional reproducing apparatus reproduces only the sum signal, it is possible to obtain a completely equivalent DVD image quality. The difference signal is a line drawing only of a circle, but is restricted by the second video signal output restriction
[0097]
In the case of a movie, 3-2 conversion is performed by the 3-2 conversion unit 174, and MADM recording is performed as each MPEG signal together with the 3-2 conversion information 174a.
[0098]
In this case, since a movie is 24 frames per second, a 1440 × 480P progressive video is reproduced from two interlaced signals by a double speed playback device. Also, the scope size of the movie is 2.35 to 1, and 1440 × 480P is suitable in terms of the aspect ratio, and the effect of wide 480P is high.
[0099]
FIG. 21 illustrates the wide 480i
[0100]
(Detailed playback operation: Fig. 25)
Next, the playback operation of the playback device 65 of the present invention will be described in detail with reference to the block diagram of the playback device for double-speed progressive and super-wide images and 720P playback shown in FIG. A signal reproduced from the
[0101]
On the other hand, the remaining
[0102]
In FIG. 25, an interlace signal is converted into an interlace signal by an interlace conversion unit 175 and output, and a scope screen 178 is obtained. The 480P progressive signal is also output as the scope screen 178. When viewed on a 720P monitor, the 480P signal is converted as a 720P progressive signal by the 480P / 720P converter 176, and a letter of 1280 × 720 or 1440 × 720 (image is 1280 × 480 or 1440 × 480). A box-
[0103]
(High resolution recording identification information)
Returning to FIG. 1, the address information is output from the address circuit, and the
[0104]
A procedure for reproduction using the
[0105]
Since the
[0106]
(Double clock and soft decoding)
In the block diagrams of FIGS. 3 and 4, two MPEG decoders are used. As shown in FIG. 18, the first MPEG signal and the second MPEG signal are combined into one MPEG signal by the
[0107]
(Synchronized playback)
The synchronized playback of two streams important for decoding high-resolution progressive video and stereoscopic video will be described with reference to FIG. First, it is necessary to synchronize the vertical and horizontal synchronization of the two streams within one line. For this reason, the
[0108]
In the case of the present invention, when the buffers of the
[0109]
In the
[0110]
As shown in (4) of FIG. 24, since the second buffer may be 1/2 ILB, the buffer amount can be halved. The buffer control of FIG. 27 eliminates the buffer underflow and reduces the disturbance of the composite image on the playback screen.
[0111]
(Required capacity of track buffer: FIGS. 23 and 31)
First, a method for synchronizing two video streams of the present invention will be described. First, as shown in FIG. 39, the system stream reproduced from the optical head is temporarily stored in the
[0112]
First, the stream A is reproduced at the double speed rotation, and accumulation of data is started in the
[0113]
As described above, from t = t2 to t8, data for one interleave block is input to the decoder. Therefore, the data in the
[0114]
Next, transition of the memory amount of the
[0115]
Since the reproduction data of the data B2 of the interleave block I6 is input at t = t8, the increase starts again, and at t = t11, the memory amount of the second track buffer becomes 1 / 2ILB. At t = t11, a track jump is performed, the interleave blocks I7 and I8 are skipped, and the A3 interleave block I9 is accessed.
[0116]
The above operation is repeated.
[0117]
Here, the minimum memory capacity required for the
[0118]
In the present invention, the
[0119]
(System clock control method)
In addition, a method of switching the system clock STC in the case of two streams in FIG. 28 will be described later. In the case of progressive reproduction, there are two streams A and B. In this case, assuming that two streams of two interlace signals constituting a 1ILB progressive signal are A1 and B1, first, the data of the first A1 stream is reproduced in a 1/2 ILB period as shown in FIG. All data is stored in the buffer. Next, as shown in FIG. 28 (2), the data of stream B is reproduced as B1 and stored in the buffer after the reproduction of A1 is completed. In this case, since the reproduction data from the optical disc is controlled with the stream B in FIG. 28 (2) for the above-described purpose, the track buffer does not overflow. The SCR from the track buffer of stream A or stream B shown in FIG. 28 (3), that is, the stream clock, is reset in synchronization with the playback start point J of stream B shown in FIG. Since the stream B is output at the double speed, the stream clock is counted by the buffer at the single speed as shown in FIG. The stream clock is reset at point G. The time VPTS2 when the video signal of the stream B is output from the video decoder needs to be synchronized in consideration of the delay time Tvd such as the MPEG decoding time. In this case, the AV synchronization control is restarted at t = Ti at the point I, that is, at the point where the increase in VPTS is interrupted. In this case, the VPTS2 of the stream B is checked, and the VPTS1 of the stream A is synchronized with the VPTS2, thereby realizing synchronization by one simple control. In this case, VPTS1 may be used in combination.
[0120]
The audio data of the audio synchronization stream B is reproduced, and the STC may be switched at the point H using the APTS of the stream B as shown in FIG. For the sub video signal of stream B, STC may be switched in the same manner as in FIG.
[0121]
As described above, AV synchronization is realized with simple control by using the stream B data preferentially and performing AV synchronization.
[0122]
In this case, the streams A1 and A2 do not overflow because all the video data is stored in the buffer memory. There is a possibility that the stream B1 overflows. However, in the present invention, by performing synchronization control on stream B, the STC is switched so that VPTS2 does not exceed the VPTS2 threshold and the signal flow is controlled as shown in FIG. There is nothing to do.
[0123]
Further, by using the audio of stream B for audio reproduction, the audio decoder buffer can be halved as described above, and STC can be applied at the H point of t = Th as shown in FIG. By switching, sound is smoothly reproduced without exceeding the APTS threshold. Similarly, the sub video information is reproduced smoothly and synchronously. Accordingly, the video and the sub-video such as audio and subtitle are synchronized, and the screen and audio are reproduced without interruption, that is, seamlessly. In this case, even if recording of the audio and sub-video of stream A is omitted, there is no problem.
[0124]
(AV synchronization: FIGS. 29, 30, 31, 33)
Here, an AV synchronization important when connecting at the time of jumping when two or three streams are simultaneously reproduced will be described. In the case of the present invention, it is important to synchronize a 720P signal and a stream having greatly different data amounts of 480i.
[0125]
FIG. 29 is a flowchart showing a detailed procedure of program chain group reproduction processing by the
[0126]
Next, referring to the seamless connection instruction information of the cell to be transferred next in
[0127]
In
[0128]
Next, in
[0129]
At the same time, in step 235i, the VOB playback end time (VOB_E_PTM) is transferred to the STC switching
[0130]
Next, the mechanism control unit is instructed to read data until the end position of the cell is reached. As a result, the data of the cell is transferred to the
[0131]
If it is determined in
[0132]
Next, two embodiments relating to an AV synchronization control method of seamless connection control for performing seamless reproduction according to the present invention will be described. These describe the AV
[0133]
The
[0134]
In the first method, the AV
[0135]
In FIG. 30, the AV synchronization control unit includes STC changeover switches 162a, 162b, 162c, 162d,
[0136]
STC switching units 162a, 162b, 162c, 162d, and 162e are the
[0137]
The
[0138]
The STC offset
[0139]
The
[0140]
The STC switching
[0141]
The STC offset value is an offset value used to change the STC value when the
[0142]
Specifically, from the “VOB playback end time (VOB_E_PTM)” described in the DSI packet of the
[0143]
The calculated offset value is given to the STC offset combining
[0144]
The data
[0145]
Next, when two system streams of
[0146]
Description of the SCR, APTS, VPTS, and VDTS of the input
[0147]
It is assumed that the STC initial value corresponding to the
[0148]
The STC switching
[0149]
Thereafter, the STC value referred to by the
[0150]
Next, the STC switching
[0151]
Thereafter, the STC value referred to by the
[0152]
Next, the STC switching
[0153]
Next, the STC switching
[0154]
Thereafter, the STC value referred to by the video
[0155]
When the switching of the STC changeover switches 162a to 162e is completed, the
[0156]
Thereafter, the
[0157]
Here, two means will be described as a method for obtaining times T1 to T4 which are STC switching timings.
[0158]
As specific means, since the times T1 to T4 can be easily calculated at the time of creating the stream, information representing the times T1 to T4 is described in advance on the disk, and the
[0159]
In particular, for T4, the “VOB playback end time (VOB_E_PTM)” recorded in the DSI used when obtaining the STC offset can be used as it is.
[0160]
The value to be recorded at this time is described with reference to the STC value used in the
[0161]
(Embodiment 2)
In the first embodiment, the application example of the multi-stream synchronized playback method of the present invention to high-resolution video recording / playback has been described in detail. However, in the second embodiment, this synchronized playback method is applied to connect two streams. A playback control method that connects without connection is described. In the case of an MPEG recording signal, editing in GOP units is common, and editing in frame units is difficult. By using the MSS system of the present invention, substantial frame editing is possible.
[0162]
It is important to synchronize the timing of the video signal and the audio signal at the joint, but a detailed description of the synchronization method will be described in
[0163]
First, in the case of applying to seamless reproduction at the time of switching the frame editing, as shown in FIG. 10, the
[0164]
A method of synthesizing and synthesizing two screens at an arbitrary point based on an instruction signal will be described later with reference to FIG.
[0165]
In the simple switching mode in which two images are simply switched in frame units at the editing point, the a stream and the b stream are switched at the editing point tc and are output seamlessly. Further, in the composition switching mode in which two images are combined while being combined on one screen like a wipe, switching is performed while combining the stream a and the stream b from the start point ts to the end point te. As shown in FIGS. 6 and 58,
[0166]
In this case, the reproduction means 778,
[0167]
As shown in the detailed block diagram of FIG. 58, when a
[0168]
When the stereoscopic recording identifier 766c is detected, the stereoscopic
[0169]
Thus, as shown in FIG. 58, in the MSS system using two MPEG decoders or an MPEG decoder capable of simultaneously decoding two streams, the three functions of frame editing reproduction control, high-resolution signal reproduction, and stereoscopic video signal reproduction are combined. can do.
[0170]
FIG. 11 shows a specific example of the
[0171]
More specifically, when the switching point number S = 1, there is no
[0172]
The playback procedure based on the playback control information will be described with reference to the flowchart of FIG.
[0173]
As shown in FIG. 12 (1), the
[0174]
When S = 0, that is, when two images are not synthesized, data after the switching point ts1 of GOP 781c is unnecessary, and therefore, if deleted as in GOP 781c in FIG. Go up. However, the
[0175]
As shown in
[0176]
When reproducing this portion, the B frame deletion identifier is detected in step 792f, and the number of frames is calculated on the assumption that no B frame is recorded. In
[0177]
A method for generating reproduction control information will be described. If the last GOP at the OUT point is defined as the first GOP and the first GOP at the IN point is defined as the second GOP, it is easy to record the start time of the second GOP and the time of the switching point as the switching position information of the switching position ts2. It is possible to control playback. As another method, the number of frames from the beginning of the second GOP to the switching point may be recorded.
[0178]
When reproducing these reproduction control information with a reproducing apparatus, as shown in step 792f of FIG. 59, among I, B, B, B, P, B, B, B, P, B, B, B, The frame at the switching point is decoded without processing the B frame (picture). That is, only I, P, and P are decoded. Then, as described above, the IN point image can be decoded in ¼ time. In this case, even when five frame switching points per second are continued, the redundancy time is 0.18 seconds, and therefore, it is possible to follow, so that all switching points can be reproduced seamlessly.
[0179]
In this case, in order to synchronize, as the playback control information, the number of frames (pictures) from the second GOP to which the switching point is located is calculated from the start time of the second GOP and the time of the switching point. If the B frame, which is an unnecessary frame, has been deleted, the unnecessary frame deletion identifier is viewed and corrected accordingly. Then, it can be seen how many frames earlier than the IN point and OUT point the second GOP is reproduced to synchronize the OUT point of the first GOP and the IN point of the second GOP.
[0180]
As playback control information, in which frame the switching point is recorded from the beginning of the second GOP, if an unnecessary frame such as a B frame is corrected, it is synchronized whenever the second GOP is decoded. I understand.
[0181]
Also, as the playback control information, if the decoding of the second GOP is started at the specific position of the first GOP, decoding start timing information that matches the switching point of the first GOP and the switching point of the second GOP can be recorded.
[0182]
In this case, the switching point synchronization can be achieved by using only the reproduction control information without any special calculation on the reproduction apparatus side.
[0183]
Further, the redundant portion 783 records one I frame, a plurality of P frames, and a B frame, and decodes them to create a frame one frame before the last editing point frame. Recording efficiency can be further increased by creating an intra frame. In the case of a DVD-RAM, all
[0184]
Here, the playback control procedure will be described. First, in
[0185]
In this case, if n = 0 in
[0186]
As shown in FIG. 56, the input
[0187]
To sum up the means, a plurality of streams are separated and alternately decoded by two MPEG decoders, and at the switching point, the decoded output of one first MPEG decoder is switched to the other second MPEG decoder decoded output and output. Then, the original first MPEG decoder is reset, decoding of the next stream is resumed, and the output of the second MPEG decoder is switched to the output of the first MPEG decoder at the next switching point.
[0188]
In this way, seamless connection is continuously realized in units of frames.
[0189]
(Composite switching mode)
Returning to step 774G in FIG. 13, the procedure for switching the
[0190]
Although FIG. 12 shows an example in which the original time stamp is not changed, the time stamp is used when recording is performed using a DVD-RAM or the like by matching the times of the first stream switching point and the second stream switching point. The configuration can be made simpler. When recording as ts1 = ts2, it may be rewritten. In this case, the first stream may be recorded up to te1. The second stream replaces tsG with ts1- (ts2-tsG). In this case, a time stamp younger than ts1 is attached. Since ta is the same as tsG, when reproducing in FIG. 12 (6), start decoding at tsG by connecting tsG from the
[0191]
In the case of a method for changing the time stamp, the time stamp order of GOP 761e and GOP 781f in FIG. For this reason, when it is played back, it malfunctions on the playback device side. In the present invention, as shown in FIG. 14, since the
[0192]
In the case of reproduction in FIG. 12 (6), it is only necessary to prefetch tsG from the
[0193]
Alternatively, even if there is information on the edit point ts1, if the GOP 781f data of the second stream is MPEG-decoded at the time point t = tsG by prefetching the GOP head address tsG of the edit point, the first stream and the first stream There is an effect that the edit points of the two streams are automatically matched at ts1.
[0194]
As described above, the configuration and operation are greatly simplified by changing the time stamp and recording.
[0195]
The procedure of this second recording method will be described with reference to FIGS.
[0196]
The edit / playback control information generation program will be described with reference to FIGS. As shown in FIG. 6, the
[0197]
The procedure in the reproduction control
[0198]
First, in
[0199]
First, in step 785b, S = 0 is set, S is incremented by 1 (step 785c), ts0 and ts1 are read (step 785d), and it is checked in
[0200]
At this time, using the address tsG of the first GOP of the second stream in step 785w, the calculation of ta = ts1- (ts2-tsG) is performed to obtain the second stream preceding decoding time ta, and the limited
[0201]
Here, returning to step 785e, if there is a synthesis identifier G, in step 785n, te1 which is the OUT point synthesis completion point of the first stream is read, and in step 785p, tG = te1-ts1 is calculated, and step 785q If tG <tGmax, the process proceeds to the next step 785r. If tG is greater than tGmax, the duration of the two-stream synthesis is too long and exceeds the buffer capacity of the playback device. When the error message “Change to value” is issued and te1 is changed in step 785w, the process returns to step 785n to make te1 less than the allowable value.
[0202]
Now, since the composition of the connection points is within the allowable value, the process returns to step 785r, and the first stream is recorded on the optical disk from tsG to te1. In step 785s, ts2 of the second stream is read. In step 785t, the time stamp is converted using the time stamp conversion processing routine in the same manner as in
[0203]
In this way, the first stream is recorded up to the connection point, and after that connection point, the time stamp at the connection point of the second stream is overwritten with a time stamp younger than the connection point. Thus, by reproducing the optical disk in synchronization with a reproducing apparatus, an effect that a video signal connected in units of frames is output can be obtained.
[0204]
In this case, two MPEG decoders are required. However, as shown in FIG. 6, the recording / reproducing apparatus includes an
[0205]
Therefore, when the present invention is applied to a recording / reproducing apparatus with an MPEG encoder, the frame editing effect of the present invention can be obtained without adding a configuration since it originally has the capability of two decoders.
[0206]
When software encoding / decoding is performed using a CPU, the CPU time required for encoding must be at least twice that of the decoding process, and a CPU capable of soft encoding can decode two streams. Therefore, as described in FIG. 57, by encoding one stream with software and simultaneously or time-dividing the two streams with software, the virtual frame editing of the present invention can be performed without increasing the processing capacity of the CPU. Become.
[0207]
The procedure of encoding / decoding and recording / reproduction using the CPU will be described using the flowchart of FIG. First, in the
[0208]
At the next playback, the
[0209]
This CPU is capable of processing one stream for MPEG encoding. This means that MPEG decoding of a few streams can be performed. Therefore, it is possible to obtain an effect that one stream can be MPEG-encoded by the same CPU, frame editing can be performed, two streams can be MPEG-decoded, and playback and output can be seamlessly performed at the frame editing point. According to the present invention, the remaining CPU power at the time of MPEG decoding can be effectively utilized.
[0210]
(Embodiment 3)
The MADM system of the present invention can simultaneously reproduce a plurality of streams, and the synchronization system is important.
[0211]
The basic AV synchronization method has been described in the recording control of high-resolution video such as 480P and 720P described in the first embodiment and the playback control method of virtual frame editing described in the second embodiment. 3 to 9 describe various synchronization methods in more detail.
[0212]
First, in
[0213]
First, FIG. 37 shows a data structure on the optical disk used in the optical disk reproducing apparatus of the third embodiment.
[0214]
The video signal A, the video signal B, and the video signal C, which are three video signals, are respectively MPEG-compressed to obtain a compressed video stream A, a compressed video stream B, and a compressed video stream C.
[0215]
Each of the compressed video streams A to C is packetized as a video packet every 2 KB. In the packet header of each packet, a stream ID for identifying whether the stored data is one of the compressed video streams A to C, and, if the head of the video frame is stored in the packet, that frame VPTS (Video Presentation Time Stamp) is added as video playback time information indicating the time at which the video is to be played back. In the third embodiment, NTSC video is used as each video signal, and the video frame period is approximately 33 msec.
[0216]
On the optical disc, the video packets created as described above are grouped as a compressed video signal A-1, a compressed video signal B-1, and a compressed video signal C-1 with an appropriate number of video packets for each stored data. And multiplexed and recorded.
[0217]
FIG. 35 is a block diagram of an optical disk reproducing apparatus according to the third embodiment.
[0218]
In FIG. 35,
[0219]
FIG. 36 shows the configuration of the
[0220]
36,
[0221]
The operation of the optical disk reproducing device shown in FIG. 35 will be described below.
[0222]
The
[0223]
The
[0224]
The data read from the
[0225]
The separated video compression signals are stored in the
[0226]
Each of the
[0227]
The
[0228]
The operation of each of the
[0229]
The compressed video signal read from the buffer memory is input to the
[0230]
The video decompression means 602 performs MPEG decompression processing on the compressed video stream and outputs a video signal.
[0231]
The VPTS detection means 601 detects and outputs the VPTS in the packet header.
[0232]
The video reproduction timing control means 603 receives the video signal output from the video expansion means 602, the reference time signal, and the VPTS output from the VPTS detection means 601, compares the reference time signal and VPTS, and the difference between the two is determined. When the threshold value is exceeded, the video playback timing is controlled so that the difference between the VPTS and the reference time signal is less than or equal to the threshold value.
[0233]
In the third embodiment, 33 msec is used as a threshold value for video reproduction. In the video reproduction timing control means 603,
(Reference time signal-VPTS)> 33 msec: 1 frame skip
(Reference time signal -VPTS) <-33 msec: 1 frame repeat
Is to do.
[0234]
In the third embodiment, due to the accuracy error of the crystal oscillator used in the reference time signal generating means 506 and each of the
[0235]
FIG. 38 shows a timing chart of video reproduction in the third embodiment. 38A is a diagram showing a reference time signal with respect to the reproduction time t. Similarly, FIG. 38B shows VPTS # A which is a VPTS of the compressed video signal A expanded by the
[0236]
The
[0237]
In addition, the
[0238]
Similarly, the
[0239]
As described above, in the third embodiment, when the difference between the reference time signal and the VPTS detected by each video decoder exceeds the threshold, the correction function of the video reproduction timing control means of each video decoder operates, and the reference time signal And the difference between each VPTS is kept so as not to exceed the threshold value, and the video reproduced by each video decoder can be synchronized.
[0240]
(Embodiment 4)
[0241]
FIG. 41 shows the data structure on the optical disk used in the optical disk reproducing apparatus of the fourth embodiment. Compared to the optical disk used in the third embodiment, this optical disk also includes compressed audio data.
[0242]
The audio signal is converted into audio frames in units of 32 msec, compressed, a compressed audio stream is obtained, packetized as audio packets every 2 KB, and recorded on the optical disc. In the packet header of the audio packet, a stream ID indicating that the stored data is a compressed audio stream, and the time when the audio frame is to be reproduced when the head of the audio frame is stored in the packet are indicated. APTS (Audio Presentation Time Stamp) is added as the audio reproduction time information shown.
[0243]
FIG. 39 shows a block diagram of a playback apparatus according to the fourth embodiment.
[0244]
501 to 532 have the same configuration as that of the optical disk reproducing apparatus shown in FIG. 35 of the third embodiment.
[0245]
540 is a buffer memory for temporarily storing the compressed audio signal, 541 is an audio expansion means for expanding the compressed audio signal, and 542 is a speaker for reproducing the expanded audio signal.
[0246]
FIG. 40 shows the configuration of the
[0247]
In the optical disk reproducing apparatus shown in FIG. 39, the operation when reproducing the optical disk in FIG. 41 will be described below.
[0248]
The operation up to the input to the separating means 505 is the same as that of the optical disk reproducing apparatus shown in the third embodiment.
[0249]
The data read from the
[0250]
The separated compressed video signal and compressed audio signal are temporarily stored in the
[0251]
The
[0252]
The operations of the
[0253]
The compressed audio signal read from the
[0254]
The APTS signal output from the
[0255]
In the fourth embodiment, due to the accuracy error of the crystal oscillator used in the reference time signal generating means 506, the
[0256]
FIG. 42 shows a timing chart of video playback and audio playback in the fourth embodiment. 42A is a diagram showing APTS with respect to the reproduction time t, FIG. 42B is a diagram showing a reference time signal, and similarly, FIG. 42C is a compressed video signal that the
[0257]
42 does not show the VPTS # C of the compressed video signal C that the
[0258]
The reference time signal generation means 506 corrects the APTS using the APTS at the time when the APTS indicates ta1 and ta2, and resets the reference time signal to ta1 and ta2 at each time.
[0259]
The
[0260]
Similarly, since the
[0261]
As described above, in the fourth embodiment, when the difference between the reference time signal and the VPTS detected by each video decoder exceeds the threshold, the correction function of the video reproduction timing control means of each video decoder operates, and the reference time signal Thus, the difference between the VPTS and the VPTS is kept so as not to exceed the threshold, and the video signals reproduced by the video decoders can be synchronized with each other.
[0262]
Further, regarding the difference between the reference time signal and the APTS, the APTS is not corrected by using the reference time signal, but the reference time signal is corrected by using the APTS, thereby causing a sense of incongruity in audio reproduction. Therefore, it is possible to synchronize the audio playback and video playback.
[0263]
(Embodiment 5)
[0264]
FIG. 43 is a block diagram of the playback apparatus according to the fifth embodiment.
[0265]
501 to 532 have the same configuration as that of the optical disk reproducing apparatus shown in the third embodiment, but 551 is a video decoder used in the fifth embodiment.
[0266]
The
[0267]
[0268]
In the fifth embodiment, due to the accuracy error of the crystal oscillator used in the reference time signal generation means 506 and the
[0269]
FIG. 45 shows a timing chart of video output in the fifth embodiment. 45A is a diagram showing VPTS # A detected by the
[0270]
The reference time signal generation means 506 corrects the time using VPTS # A at the time when VPTS # A indicates tv1 and tv2, and resets the reference time signal to tv1 and tv2 at each time.
[0271]
The
[0272]
Similarly, since the
[0273]
As described above, in the fifth embodiment, when the difference between the reference time signal and the VPTS detected by the
[0274]
In addition, by correcting the reference time signal using VPTS # A detected by the
[0275]
(Embodiment 6)
[0276]
In the sixth embodiment, an optical disk having the data structure shown in FIG. 41 is used.
[0277]
FIG. 46 shows a block diagram of an optical disk reproducing apparatus according to the sixth embodiment.
[0278]
[0279]
A
[0280]
The configuration of the
[0281]
901 is a VPTS detection means for detecting the VPTS indicating the reproduction time of the video signal multiplexed with the compressed video signal, 902 is a video expansion means for expanding the compressed video signal, 903 compares the reference time signal and VPTS, When the comparison result exceeds the threshold, video playback timing control means for skipping or repeating video playback in frame units, 904 is a reference time signal generating means for generating a reference time signal.
[0282]
In the sixth embodiment, the APTS detected by the
[0283]
By correcting using the same APTS, the reference time signals generated by the
[0284]
After the correction by the APTS, as in the fourth embodiment, when the difference between the reference time signal of each video decoder and the VPTS exceeds the threshold value, the video reproduction timing control means of each video decoder skips the frame unit. Repeat playback is performed, and the playback timing is corrected so that the difference is less than or equal to the threshold value.
[0285]
As described above, in
[0286]
Further, as in the fourth embodiment, it is possible to synchronize the reproduction of the sound and the reproduction of each video without causing any auditory problems with respect to the reproduction of the sound.
[0287]
In the sixth embodiment, the APTS detected by the
[0288]
(Embodiment 7)
In the seventh embodiment of the present invention, two compressed video signals are reproduced simultaneously, and the two compressed video signals are compressed by separating a stereoscopic video signal into a right-eye video signal and a left-eye video signal, respectively. Signal.
[0289]
The overall configuration of the apparatus is substantially the same as that of the optical disk playback apparatus shown in FIG. 46 of
[0290]
FIG. 48 shows one video decoder, 1001 is a VPTS detection means for detecting VPTS indicating the reproduction time of the video signal multiplexed with the compressed video signal, and 1002 is a video for expanding the input MPEG compressed video signal. A decompression unit, 1004, a reference time signal generation unit for generating a reference time signal, 1003 compares the reference time signal with VPTS, and skips or repeats video reproduction in units of frames when the comparison result exceeds a threshold value. This is a video playback timing control means for outputting a horizontal sync signal and a vertical sync signal of the video to be played back.
[0291]
49 is the other video decoder, 1101 is a VPTS detecting means for detecting VPTS indicating the reproduction time of the video signal multiplexed with the compressed video signal, and 1102 is a video for expanding the input MPEG compressed video signal. Decompression means, 1104, reference time signal generation means for generating a reference time signal, 1103 compares the reference time signal with VPTS, and skips or repeats video reproduction frame by frame when the comparison result exceeds a threshold value. This is a video output timing control means for inputting a horizontal synchronization signal and a vertical synchronization signal of a video signal and reproducing the expanded video in synchronization with the horizontal / vertical synchronization signal.
[0292]
Each video decoder uses the horizontal synchronizing signal and the vertical synchronizing signal output from the video decoder in FIG. 48 so as to be input to the horizontal synchronizing signal and the vertical synchronizing signal of the video decoder in FIG.
[0293]
In the optical disk reproducing apparatus according to the seventh embodiment configured as described above, as in the sixth embodiment, the reference time signal generated in each video decoder for the right eye and the left eye is corrected by the APTS, and each video The video reproduction timing control means of the decoder keeps the difference between each reference time signal and each VPTS so as not to exceed the threshold value, so that the video for the right eye and the video for the left eye can be synchronized in units of frames. Furthermore, by using the horizontal synchronization signal and the vertical synchronization signal generated by one video decoder as the other horizontal synchronization signal and the vertical synchronization signal, the two images can be reproduced in synchronization on a pixel basis. It was.
[0294]
In
[0295]
(Embodiment 8)
[0296]
FIG. 52 shows the data structure on the optical disk used in the eighth embodiment.
[0297]
The audio signal D and the audio signal E, which are two audio signals, are respectively compressed, the compressed audio stream D and the compressed audio stream E are compressed, and the video signal is compressed to obtain a compressed video stream.
[0298]
The compressed video streams D and E and the compressed video stream are packetized as audio packets and video packets every 2 KB. In the packet header of each packet, a stream ID for identifying whether the stored data is a compressed audio stream D, E or a compressed video stream, and the above-described APTS, VPTS are recorded.
[0299]
FIG. 50 shows the configuration of the optical disk reproducing apparatus according to the eighth embodiment.
[0300]
The configuration is almost the same as that shown in FIG. 39 of the fourth embodiment. The
[0301]
Similarly to 540, 590 is a buffer memory for temporarily storing the compressed audio signal, and 592 is a speaker for reproducing the audio signal.
[0302]
FIG. 51 shows the configuration of the
[0303]
[0304]
Next, the reproduction operation in the eighth embodiment will be described.
[0305]
The operation until the signal read from the
[0306]
The data read from the
[0307]
The separated compressed video signal is temporarily stored in the
[0308]
The video decoder reads data from the
[0309]
The reference time signal generated by the reference time
[0310]
In the
[0311]
In the eighth embodiment, 32 msec is used as the threshold value of the audio reproduction, and the audio reproduction timing control means 1203
(Reference time signal-APTS # E)> 32 msec: 1 audio frame skip,
(Reference time signal-APTS # E) <-32 msec: 1 audio frame repeat,
Is to do.
[0312]
Note that the
[0313]
In the eighth embodiment, the
[0314]
FIG. 53 shows a timing chart of video reproduction and audio reproduction in the eighth embodiment. 53A is a diagram showing APTS # D with respect to the reproduction time t, FIG. 53B is a diagram showing a reference time signal, and similarly, FIG. 53C is a compression in which the
[0315]
The
[0316]
Further, when the reference time signal is T11 and T12, the difference between VPTS and the reference time signal exceeds −33 msec, which is the video playback threshold, so that the video playback timing control means of the
[0317]
As described above, in the eighth embodiment, when the difference between the reference time signal and the APTS # E detected by the
[0318]
(Embodiment 9)
In the ninth embodiment, the sound reproduction timing control is performed by changing the clock for performing the decompression reproduction operation.
[0319]
In the ninth embodiment, the apparatus configuration and the overall operation are the same as those in the eighth embodiment, but the audio reproduction timing control is performed when the difference between the reference time signal and APTS # E exceeds the audio reproduction threshold. The operation is different. The audio reproduction timing control used in the ninth embodiment will be described with reference to FIGS. 54 and 55.
[0320]
FIG. 54 shows the operation when the difference between APTS # E and the reference time signal exceeds the sound reproduction threshold of 32 msec, and FIG. 54A shows the reference time signal with respect to the reproduction time t. FIG. 4B shows APTS # E, and FIG. 4C shows the clock frequency at which the
A normal decompression reproduction operation is performed with a clock f0 that is 384 times the sampling frequency fs of the audio signal. When the reference time signal is T11, the difference between APTS # E and the reference time signal exceeds the sound reproduction threshold of 32 msec, so that the sound reproduction timing control means switches the expansion reproduction operation clock to f1. f1 is a clock having a
[0321]
FIG. 55 shows the operation when the difference between APTS # E and the reference time signal exceeds −32 msec, which is the threshold value for sound reproduction, and FIG. 55 (a) shows the reference time signal with respect to the reproduction time t. FIG. 4B shows APTS # E, and FIG. 4C shows the clock frequency at which the
[0322]
Since the difference between APTS # E and the reference time signal exceeds −32 msec, which is the threshold value for audio reproduction, when the reference time signal is T12, the audio reproduction timing control means switches the expansion reproduction operation clock to f2. f2 is a clock having a
[0323]
As described above, in the ninth embodiment, when the difference between the APTS # E and the reference time signal exceeds the audio playback threshold, the clock for performing the extended playback operation is changed, and the extended playback operation is performed at a higher or lower speed than usual. By doing so, the difference between the reference time signal and APTS # E is controlled to be equal to or less than the threshold value for audio reproduction, and the reproduction of each audio and the reproduction of video can be synchronized without causing a sense of incongruity. It has become possible.
[0324]
In the ninth embodiment, the expansion / reproduction operation clock is changed by 10% compared to the normal operation. However, the timing can be controlled more naturally from the viewpoint of hearing by changing the change width smaller or stepwise. Clearly it is possible.
[0325]
In
[0326]
The embodiment of the present invention has been described above.
[0327]
The comparison of the reference time signal with VPTS and APTS, the control of the playback time, and the correction of the reference time signal with VPTS and APTS, for example, the respective functions are realized by a microcomputer that controls the entire playback device. Also good.
[0328]
In each of the embodiments, the example of the optical disk playback device has been described. However, the virtual frame editing method of the present invention is applied to a playback device called a set-top box that is supplied with a compressed signal by a network or digital broadcasting and decompresses and plays back the compressed signal. By applying this, it is possible to seamlessly connect discontinuous video at the time of program switching, and the effect is high.
[0329]
【The invention's effect】
By dividing the basic video signal and the interpolated video signal into frame groups of 1 GOP or more, interleaving them alternately and recording them on the optical disc as interleaved blocks, the high-resolution synthesis compatible playback device can record both information of the interleaved blocks. Can be used to obtain progressive video. In addition, when a high-resolution video disc is played back on a non-progressive playback device, only one of the odd-field or even-field interleaved blocks is played back by track jumping, resulting in a complete two-dimensional normal video. Can be obtained. Thus, there is an effect that mutual compatibility is realized.
[0330]
In particular, a high-resolution video arrangement information file is provided, and a high-resolution video identifier is recorded on the optical disk. Accordingly, it is possible to easily determine where the high-resolution video is present, so that there are effects that the two normal interlace signals can be progressively generated and that the mistaken output of two different content images can be prevented.
[0331]
In addition, when the two-stream simultaneous reproduction synchronization method of the present invention is used, editing of an MPEG signal that can be edited only in GOP units can be virtually edited in frame units without degradation of images. By recording the playback control information, it can be connected and output in units of frames during playback. Thus, there is an effect that virtual frame editing can be realized without image deterioration.
[0332]
In the two-stream simultaneous reproduction synchronization method, when a plurality of compressed video signals or a plurality of compressed audio signals to be reproduced at the same time are decompressed and reproduced, they can be reproduced in synchronization with each other.
[0333]
Also, in a playback device that corrects the reference time signal using the APTS detected by the audio decoder and controls the video output timing so that the VPTS coincides with this reference time signal, the audio and the plurality of audio signals are not caused. Synchronized playback of video output is possible.
[0334]
Furthermore, a playback device that controls the timing of audio output by changing the decompression operation clock can perform synchronous playback without causing noise due to audio skipping or pause and without causing a sense of strangeness in hearing. It becomes possible.
[Brief description of the drawings]
FIG. 1 is a block diagram of a 720P / 480P hierarchical recording apparatus according to an embodiment of the present invention.
FIG. 2 is a block diagram of a 480i / 480P / 720P (60) playback device according to an embodiment of the present invention.
FIG. 3 is a block diagram of a 480P / 720P (24/60) playback device according to an embodiment of the present invention.
FIG. 4 is a block diagram of a horizontal direction composition type reproducing apparatus (720P output) according to an embodiment of the present invention;
FIG. 5 is a block diagram of a three-layer optical disk recording apparatus according to an embodiment of the present invention.
FIG. 6 is a block diagram of a recording / reproducing apparatus using a reproduction control method in units of frames according to an embodiment of the present invention.
FIG. 7 is a stream recording procedure diagram of the recording apparatus of the reproduction control information recording system according to the embodiment of the present invention.
FIG. 8 is a comparison diagram in the case where the optical disk of one embodiment of the present invention is reproduced by an existing reproducing apparatus and in the case of reproducing by the reproducing apparatus of the present invention.
FIG. 9 is a relationship diagram of recording time and capacity of an optical disc according to an embodiment of the present invention.
FIG. 10 is a block diagram of the 480P playback mode of the hierarchical playback device according to the embodiment of the present invention;
FIG. 11 is a diagram showing a data structure of reproduction control information according to the embodiment of the present invention.
FIG. 12 is a diagram showing a recording procedure of a plurality of streams of the recording apparatus and a playback procedure of the playback apparatus according to the embodiment of the present invention.
FIG. 13 is a flowchart for controlling playback of two streams based on playback control information in the playback apparatus according to the embodiment of the present invention;
FIG. 14 is a data structure diagram of playback control information when stream time stamps are consecutive according to an embodiment of the present invention;
FIG. 15 is a diagram showing recording and playback streams of the recording / playback apparatus according to the embodiment of the present invention;
FIG. 16 is a flowchart showing an editing and reproduction control information generation procedure in the recording apparatus according to the embodiment of the invention.
FIG. 17 is a data structure diagram of an image identifier including the resolution of management information data according to an embodiment of the present invention;
FIG. 18 is a block diagram showing another type of MPEG decoder of the playback apparatus according to the embodiment of the present invention;
FIG. 19 is a principle diagram of a multi-angle video division multiplex recording system according to an embodiment of the present invention.
FIG. 20 is a diagram illustrating a method of separating horizontal and vertical interpolation information and recording them in an interleave block according to an embodiment of the present invention.
FIG. 21 is a principle diagram of a MADM system that divides the image horizontally into two according to an embodiment of the present invention.
FIG. 22 is a diagram showing image composition control of the playback device according to the embodiment of the present invention;
FIG. 23 is a signal layout diagram for outputting a progressive signal, an NTSC signal, and an HDTV signal according to an embodiment of the present invention;
FIG. 24 is a diagram illustrating a buffer for reproducing progressive, stereoscopic, and wide signals according to an embodiment of the present invention.
FIG. 25 is a block diagram of the playback device in one embodiment of the present invention in an interlaced video signal output mode.
FIG. 26 is a flowchart for performing AV synchronization between the first decoder and the second decoder according to the embodiment of the present invention;
FIG. 27 is a flowchart for controlling two buffer units according to an embodiment of the present invention;
FIG. 28 is a timing chart at which a data stream according to an embodiment of the present invention is reproduced and output through a decoder buffer and decoding processing;
FIG. 29 is a flowchart illustrating a detailed procedure of program chain group reproduction processing by the system control unit M1-9 according to the embodiment of the present invention;
FIG. 30 is a block diagram showing a partial configuration for performing AV synchronization related to AV synchronization control 12-10 according to the embodiment of the present invention;
FIG. 31 is a block diagram of a data decryption processing unit according to an embodiment of this invention;
FIG. 32 is a diagram showing a signal format of an image identifier according to the embodiment of the present invention.
FIG. 33 is a flowchart of STC switching during seamless connection according to an embodiment of the present invention.
FIG. 34 is a diagram showing processing of the horizontal filter circuit according to the embodiment of the present invention.
FIG. 35 is a block diagram of an optical disk playback apparatus according to an embodiment of the present invention.
FIG. 36 is a block diagram of a video decoder according to an embodiment of the present invention.
FIG. 37 is a diagram showing a data structure on an optical disc according to an embodiment of the present invention.
FIG. 38 is a timing chart of video playback according to an embodiment of the present invention.
FIG. 39 is a block diagram of an optical disk playback device according to an embodiment of the present invention.
FIG. 40 is a block diagram of an audio decoder according to an embodiment of the present invention.
FIG. 41 is a diagram showing a data structure on an optical disc according to an embodiment of the present invention.
FIG. 42 is a timing chart of audio and video reproduction according to an embodiment of the present invention.
FIG. 43 is a diagram showing an optical disc playback apparatus according to an embodiment of the present invention.
FIG. 44 is a block diagram of a video decoder according to an embodiment of the present invention.
FIG. 45 is a timing chart of video playback according to an embodiment of the present invention.
FIG. 46 is a block diagram of an optical disk playback apparatus according to an embodiment of the present invention.
FIG. 47 is a block diagram of a video decoder according to an embodiment of the present invention.
FIG. 48 is a block diagram of a video decoder according to an embodiment of the present invention.
FIG. 49 is a block diagram of a video decoder according to an embodiment of the present invention.
FIG. 50 is a block diagram of an optical disk playback device according to an embodiment of the present invention.
FIG. 51 is a block diagram of an audio decoder according to an embodiment of the present invention.
FIG. 52 is a diagram showing a data structure on an optical disc according to an embodiment of the present invention.
FIG. 53 is a timing chart of audio and video playback according to an embodiment of the present invention.
FIG. 54 is a timing chart of audio reproduction and operating frequency according to an embodiment of the present invention.
FIG. 55 is a timing chart of audio reproduction and operating frequency according to an embodiment of the present invention.
FIG. 56 is a diagram showing a stream flow in the playback device according to the embodiment of the present invention;
FIG. 57 is a flowchart showing MPEG encoding, editing / playback control information generation, and playback control procedures in the recording / playback apparatus according to the embodiment of the present invention;
FIG. 58 is a block diagram of a recording / reproducing apparatus using a frame-by-frame reproduction control method according to an embodiment of the present invention;
FIG. 59 is a diagram showing a procedure for deleting unnecessary frames according to an embodiment of the present invention;
FIG. 60 is a block diagram of a mutual authentication type playback apparatus and TV monitor according to an embodiment of the present invention.
[Explanation of symbols]
1 Optical disc
16 MPEG decoder
21 Control unit
23a, 23b Buffer circuit
25 SW circuit
26 3D image layout information playback unit
27 SW circuit
28 RL mixing circuit
29 R output section
30 L output section
31 Video output section
32 Audio output unit
33 “3D” display signal output section
34 motor
35 Rotation control circuit
39 memory
43 3D compatible playback device
707 480P video signal
710 480P video signal
717 MPEG encoder
718a 3rd interleave block
723 Recording means
724 disc
725 Hierarchical record identifier
726 Specific interleave block reproduction prohibition means
727 MPEG data
728 MPEG decoder
729 480P signal
730 MPEG decoder
731 Difference signal
732 synthesis unit
733 720P signal
734 Separation part
735 First buffer memory
736 Second buffer memory
737a, 737b 2-3 conversion unit
738 480P-720P upconverter
739 720P signal
740 arithmetic unit
741 2-3 conversion unit
743 Hierarchical playback device
744 Resolution-attribute identification information
745 Identification Information Processing Unit
746 3-2 pull-down section
747 Separation part
748 Composite unit
749 480i signal
751 Modulator
752 Transmitter
753 Receiver
754 Demodulator
755 synthesis unit
756a Field frame conversion unit
758 synthesis unit
759 W480P video signal
760 W480P-720P converter
763 Switching composition unit
764 Switching composite signal output section
765 Playback control information
766 Switching point number
767 Image composition identifier
768 Switching start address
769 Switching end address
770 GOP start address
771 Switching start address
772 Switching end address
773 Decode start address
777 Recording means
778 Reproduction means
779 memory
780 VTS synchronization section
781 GOP
782a, 782b, 782c, 782d Composite screen
783 Redundant part
785 flowchart (recording means)
786 Up-conversion instruction
787 Up-conversion identifier
789 Playback control information generation unit
790 Editing information
791 MPEG encoder
792 Flowchart (Unnecessary frame deletion)
794a, 794b Mutual authentication unit
795 Cryptographic encoder
796 Communication interface part
797 Cryptographic decoder
798 TV monitor
799a, 799b (encryption) key
Claims (22)
前記光ディスクには、映像信号の低周波成分を表す第１映像ストリームと前記映像信号のうち少なくとも高周波成分を表す第２映像ストリームとが少なくとも記録されており、前記第１映像ストリームは複数の第１インタリーブユニットを含み、前記第２映像ストリームは複数の第２インタリーブユニットを含み、前記複数の第１インタリーブユニットのそれぞれはｍ１個（ｍ１は１以上の整数）のＧＯＰを含み、前記複数の第２インタリーブユニットのそれぞれはｍ２個（ｍ２は１以上の整数）のＧＯＰを含み、
前記光ディスク再生装置は、
前記光ディスクに記録された前記第１映像ストリームと前記第２映像ストリームとを再生する再生部と、
前記再生された第１映像ストリームを前記複数の第１インタリーブユニットに分解し、前記再生された第２映像ストリームを前記複数の第２インタリーブユニットに分解する分解部と、
前記複数の第１インタリーブユニットを復号することにより、前記映像信号の前記低周波成分を表す第１再生信号を生成し、前記複数の第２インタリーブユニットを復号することにより、前記映像信号のうち少なくとも前記高周波成分を表す第２再生信号を生成する復号部と、
前記第１再生信号と前記第２再生信号とを合成することにより、前記映像信号を生成する合成部と、
前記第１再生信号と前記第２再生信号と前記映像信号とのうちの少なくとも１つを選択的に出力する出力部と
を備えた、光ディスク再生装置。An optical disk reproducing device for reproducing a signal recorded on an optical disk,
The optical disc records at least a first video stream representing a low frequency component of a video signal and a second video stream representing at least a high frequency component of the video signal, and the first video stream includes a plurality of first video streams. An interleave unit, the second video stream includes a plurality of second interleave units, each of the plurality of first interleave units includes m1 (m1 is an integer of 1 or more) GOPs, and the plurality of second interleave units. Each interleave unit includes m2 (m2 is an integer of 1 or more) GOPs,
The optical disc playback apparatus comprises:
A playback unit for playing back the first video stream and the second video stream recorded on the optical disc;
A decomposing unit that decomposes the reproduced first video stream into the plurality of first interleave units, and decomposes the reproduced second video stream into the plurality of second interleave units;
By decoding the plurality of first interleave units, a first reproduction signal representing the low frequency component of the video signal is generated, and by decoding the plurality of second interleave units, at least one of the video signals. A decoding unit for generating a second reproduction signal representing the high-frequency component;
A synthesizing unit that generates the video signal by synthesizing the first reproduction signal and the second reproduction signal;
An optical disc playback apparatus comprising: an output unit that selectively outputs at least one of the first playback signal, the second playback signal, and the video signal.
基準時刻信号を生成する基準時刻信号生成部と、
前記基準時刻信号と前記第１時間情報との差に応じて、前記第１再生信号の再生時刻を制御する第１再生制御部と、
前記基準時刻信号と前記第２時間情報との差に応じて、前記第２再生信号の再生時刻を制御する第２再生制御部と、
前記第１再生制御部に供給される前記基準時刻信号と前記第２再生制御部に供給される前記基準信号とが実質的に同一の時刻を表すように、前記基準時刻信号を補正する補正部と
をさらに備えている、請求項２に記載の光ディスク再生装置。The optical disc playback apparatus comprises:
A reference time signal generator for generating a reference time signal;
A first reproduction control unit for controlling a reproduction time of the first reproduction signal according to a difference between the reference time signal and the first time information;
A second reproduction control unit for controlling a reproduction time of the second reproduction signal according to a difference between the reference time signal and the second time information;
A correction unit that corrects the reference time signal so that the reference time signal supplied to the first reproduction control unit and the reference signal supplied to the second reproduction control unit represent substantially the same time. The optical disk reproducing apparatus according to claim 2, further comprising:
前記第２再生制御部は、前記第２再生信号のフレームをスキップし、もしくは繰り返して再生することにより、前記第２再生信号の再生時刻を制御する、請求項３に記載の光ディスク再生装置。The first reproduction control unit controls the reproduction time of the first reproduction signal by skipping or repeating reproduction of the frame of the first reproduction signal;
4. The optical disc playback apparatus according to claim 3, wherein the second playback control unit controls the playback time of the second playback signal by skipping or repeating playback of the frame of the second playback signal.
前記合成部は、前記第１再生信号を、前記第２画素数に対応する変換信号に変換する変換器を備えており、
前記映像信号は、前記変換信号と前記第２再生信号とを合成することによって得られる、請求項１に記載の光ディスク再生装置。The first reproduction signal corresponds to a first pixel number, and the second reproduction signal corresponds to a second pixel number greater than the first pixel number;
The combining unit includes a converter that converts the first reproduction signal into a conversion signal corresponding to the second number of pixels,
The optical disk reproducing apparatus according to claim 1, wherein the video signal is obtained by synthesizing the converted signal and the second reproduction signal.
前記光ディスク再生装置は、前記光ディスクの回転を制御する回転制御部をさらに備えており、前記回転制御部は、前記識別子に応じて前記光ディスクの回転を制御する、請求項８に記載の光ディスク再生装置。An identifier indicating the number of first pixels corresponding to the first reproduction signal is further recorded on the optical disc,
9. The optical disc playback apparatus according to claim 8, wherein the optical disc playback apparatus further includes a rotation control unit that controls the rotation of the optical disc, and the rotation control unit controls the rotation of the optical disc in accordance with the identifier. .
前記出力部は、
前記第１再生信号、前記第２再生信号および前記映像信号のうち少なくとも一方をフレーム信号に変換する変換器を備えており、
前記出力部は、前記フレーム信号を重複して出力することにより、１秒あたり６０フレームのプログレシブ映像信号を出力する、請求項１に記載の光ディスク再生装置。An identifier indicating that the video signal is obtained by encoding a progressive video signal of 24 to 30 frames per second is recorded on the optical disc,
The output unit is
A converter that converts at least one of the first reproduction signal, the second reproduction signal, and the video signal into a frame signal;
The optical disk reproducing apparatus according to claim 1, wherein the output unit outputs a progressive video signal of 60 frames per second by outputting the frame signal in duplicate.
前記複数の第１インタリーブユニットと前記複数の第２インタリーブユニットとを格納するバッファメモリ部をさらに備えており、
前記バッファメモリ部の容量は、前記第２インタリーブユニットに含まれるＧＯＰのデータ量以上である、請求項１１に記載の光ディスク再生装置。The optical disc playback apparatus comprises:
A buffer memory unit for storing the plurality of first interleave units and the plurality of second interleave units;
12. The optical disk reproducing device according to claim 11, wherein the capacity of the buffer memory unit is equal to or greater than the data amount of GOP included in the second interleave unit.
前記第１映像信号を符号化することにより、第１映像ストリームを生成し、前記第２映像信号を符号化することにより、第２映像ストリームを生成する符号化部であって、前記第１映像ストリームは複数の第１インタリーブユニットを含み、前記第２映像ストリームは複数の第２インタリーブユニットを含み、前記複数の第１インタリーブユニットのそれぞれはｍ１個（ｍ１は１以上の整数）のＧＯＰを含み、前記複数の第２インタリーブユニットのそれぞれはｍ２個（ｍ２は１以上の整数）のＧＯＰを含む、符号化部と、
前記第１映像ストリームに含まれる前記複数の第１インタリーブユニットと前記第２映像ストリームに含まれる前記複数の第２インタリーブユニットとを選択的に出力する選択出力部と、
前記選択出力部から出力される信号を光ディスクに記録する記録部と
を備えた、光ディスク記録装置。A separation unit that separates the video signal into a first video signal that represents a low-frequency component of the video signal and a second video signal that represents at least a high-frequency component of the video signal;
An encoding unit that generates a first video stream by encoding the first video signal and generates a second video stream by encoding the second video signal, wherein the first video signal The stream includes a plurality of first interleave units, the second video stream includes a plurality of second interleave units, and each of the plurality of first interleave units includes m1 (m1 is an integer of 1 or more) GOPs. Each of the plurality of second interleave units includes m2 (m2 is an integer of 1 or more) GOPs;
A selection output unit that selectively outputs the plurality of first interleave units included in the first video stream and the plurality of second interleave units included in the second video stream;
An optical disc recording apparatus comprising: a recording unit that records a signal output from the selection output unit on an optical disc.
前記第１映像ストリームを復号する復号器と、
前記映像信号と前記復号器から出力される信号との差分を演算する差分演算器と
を備えており、
前記分離部は、前記差分演算器から出力される信号を前記第２映像信号として出力する、請求項１６に記載の光ディスク記録装置。The separation unit is
A decoder for decoding the first video stream;
A difference calculator for calculating a difference between the video signal and a signal output from the decoder;
The optical disc recording apparatus according to claim 16, wherein the separation unit outputs a signal output from the difference calculator as the second video signal.
前記映像信号を、前記映像信号に対応する第１画素数より少ない第２画素数に対応する第１変換信号に変換する第１変換器と、
前記復号器から出力される信号を、前記復号器から出力される信号に対応する第２画素数より多い第１画素数に対応する第２変換信号に変換する第２変換器と
をさらに備えており、
前記分離部は、前記第１変換信号を前記第１映像信号として出力し、
前記差分演算器は、前記映像信号と前記第２変換信号との差分を演算する、請求項１７に記載の光ディスク記録装置。The separation unit is
A first converter for converting the video signal into a first conversion signal corresponding to a second number of pixels smaller than a first number of pixels corresponding to the video signal;
A second converter for converting a signal output from the decoder into a second converted signal corresponding to a first number of pixels greater than a second number of pixels corresponding to the signal output from the decoder; And
The separation unit outputs the first converted signal as the first video signal,
The optical disc recording apparatus according to claim 17, wherein the difference calculator calculates a difference between the video signal and the second converted signal.
前記第１映像ストリームに含まれる前記複数の第１インタリーブユニットと前記第２映像ストリームに含まれる前記複数の第２インタリーブユニットとを選択的に出力する選択出力部と、
前記選択出力部から出力される信号を光ディスクに記録する記録部と
を備えた、光ディスク記録装置。An input unit for inputting an encoded first video stream corresponding to a first pixel number and an encoded second video stream corresponding to a second pixel number different from the first pixel number, The first video stream includes a plurality of first interleave units, the second video stream includes a plurality of second interleave units, and each of the plurality of first interleave units is m1 (m1 is an integer of 1 or more). Each of the plurality of second interleave units includes m2 (m2 is an integer of 1 or more) GOPs;
A selection output unit that selectively outputs the plurality of first interleave units included in the first video stream and the plurality of second interleave units included in the second video stream;
An optical disc recording apparatus comprising: a recording unit that records a signal output from the selection output unit on an optical disc.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24420198A JP3916025B2 (en) | 1997-08-29 | 1998-08-28 | High resolution and general video recording optical disc, optical disc playback device and optical disc recording device |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23432097 | 1997-08-29 | ||
| JP9-234320 | 1997-08-29 | ||
| JP24420198A JP3916025B2 (en) | 1997-08-29 | 1998-08-28 | High resolution and general video recording optical disc, optical disc playback device and optical disc recording device |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007001788A Division JP4331759B2 (en) | 1997-08-29 | 2007-01-09 | Optical disc reproducing apparatus and optical disc recording method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11150706A JPH11150706A (en) | 1999-06-02 |
| JP3916025B2 true JP3916025B2 (en) | 2007-05-16 |
Family
ID=26531496
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24420198A Expired - Lifetime JP3916025B2 (en) | 1997-08-29 | 1998-08-28 | High resolution and general video recording optical disc, optical disc playback device and optical disc recording device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3916025B2 (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11545185B1 (en) * | 2016-05-10 | 2023-01-03 | Google Llc | Method and apparatus for frame accurate high resolution video editing in cloud using live video streams |
| US11589085B2 (en) | 2016-05-10 | 2023-02-21 | Google Llc | Method and apparatus for a virtual online video channel |
| US11647237B1 (en) | 2016-05-09 | 2023-05-09 | Google Llc | Method and apparatus for secure video manifest/playlist generation and playback |
| US11683540B2 (en) | 2016-05-16 | 2023-06-20 | Google Llc | Method and apparatus for spatial enhanced adaptive bitrate live streaming for 360 degree video playback |
| US11785268B1 (en) | 2016-05-10 | 2023-10-10 | Google Llc | System for managing video playback using a server generated manifest/playlist |
| US11877017B2 (en) | 2016-05-10 | 2024-01-16 | Google Llc | System for measuring video playback events using a server generated manifest/playlist |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005533337A (en) * | 2002-07-16 | 2005-11-04 | トムソン ライセンシング | Interleaving the base layer and the extension layer for HD-DVD using alternate stream identification numbers of the extension layer |
| KR100699647B1 (en) * | 2002-10-21 | 2007-03-23 | 마츠시타 덴끼 산교 가부시키가이샤 | Data processing device |
| BR0316559A (en) | 2002-11-25 | 2005-10-04 | Thomson Licensing Sa | Two layer decoder for high definition hybrid dvd |
| WO2004052003A1 (en) * | 2002-12-03 | 2004-06-17 | Thomson Licensing S.A. | Hybrid scalable decoder and method for standard-definition and high-definition video formats on a single-disc |
| CN1512768A (en) * | 2002-12-30 | 2004-07-14 | 皇家飞利浦电子股份有限公司 | Method for generating video frequency target unit in HD-DVD system |
| EP1465181A1 (en) | 2003-04-02 | 2004-10-06 | Deutsche Thomson-Brandt Gmbh | Method for controlling an optical pick-up for reading data streams for simultaneous reproduction |
| EP1465187A1 (en) | 2003-04-02 | 2004-10-06 | Deutsche Thomson-Brandt Gmbh | Method for controlling an optical pick-up for reading data streams for simultaneous reproduction |
| JP4890560B2 (en) * | 2006-10-23 | 2012-03-07 | パイオニア株式会社 | Video playback device, video display system, and recording medium |
| JP4726848B2 (en) * | 2007-04-03 | 2011-07-20 | 三菱電機株式会社 | Video information processing device |
| JP4799475B2 (en) | 2007-04-27 | 2011-10-26 | 株式会社東芝 | Information recording apparatus and information recording method |
| AU2009332433A1 (en) * | 2008-12-26 | 2010-07-01 | Panasonic Corporation | Recording medium, reproduction device, and integrated circuit |
| JP2011055148A (en) * | 2009-08-31 | 2011-03-17 | Toshiba Corp | Video combining device, video display apparatus, and video combining method |
-
1998
- 1998-08-28 JP JP24420198A patent/JP3916025B2/en not_active Expired - Lifetime
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11647237B1 (en) | 2016-05-09 | 2023-05-09 | Google Llc | Method and apparatus for secure video manifest/playlist generation and playback |
| US11545185B1 (en) * | 2016-05-10 | 2023-01-03 | Google Llc | Method and apparatus for frame accurate high resolution video editing in cloud using live video streams |
| US11589085B2 (en) | 2016-05-10 | 2023-02-21 | Google Llc | Method and apparatus for a virtual online video channel |
| US11785268B1 (en) | 2016-05-10 | 2023-10-10 | Google Llc | System for managing video playback using a server generated manifest/playlist |
| US11877017B2 (en) | 2016-05-10 | 2024-01-16 | Google Llc | System for measuring video playback events using a server generated manifest/playlist |
| US12034984B2 (en) | 2016-05-10 | 2024-07-09 | Google Llc | Method and apparatus for a virtual online video channel |
| US11683540B2 (en) | 2016-05-16 | 2023-06-20 | Google Llc | Method and apparatus for spatial enhanced adaptive bitrate live streaming for 360 degree video playback |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11150706A (en) | 1999-06-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1708487B1 (en) | Method and apparatus for reading a high-resolution optical video disc | |
| JP3916025B2 (en) | High resolution and general video recording optical disc, optical disc playback device and optical disc recording device | |
| JP4041198B2 (en) | High resolution and stereoscopic image recording optical disc, optical disc playback device, and optical disc recording device | |
| JP4351734B2 (en) | Optical disc playback device, optical disc recording device, and playback control information generation device | |
| JP4331759B2 (en) | Optical disc reproducing apparatus and optical disc recording method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050607 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061116 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061204 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070109 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070201 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070201 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100216 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110216 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120216 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130216 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130216 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140216 Year of fee payment: 7 |
|
| EXPY | Cancellation because of completion of term |