公民館を武道館に変える、「イマーシブテレプレゼンス」とは？：5分で分かる最新キーワード解説（3/4 ページ）

遠隔地で開催のスポーツやコンサート映像を高臨場感で再現するイマーシブテレプレゼンス技術が登場した。その仕組みを徹底解説する。

[土肥正弘，ドキュメント工房]

音場を忠実に伝送する基礎技術：リアルタイム波面合成技術

　臨場感ある音響の伝送や再現のために、音の波面そのものを収音し、物理的に忠実に再現する「リアルタイム波面合成技術」が開発された。これは、たくさんのマイクを伝送元の会場に並べ（マイクアレー）、それぞれのマイクが捉えた空間的な音の波面（位相や振幅）を、同様に伝送先会場に並べたスピーカー（スピーカーアレ―）で忠実に再現する仕組みだ。

　これにより、伝送先では左右や前後から音が聞こえるというレベルではなく、伝送元会場の音場そのものが再現できる。既にマイク／スピーカーアレーが100チャネルを超える大規模な設備で、300人収容の伝送先会場で違和感のない音場の再現実験に成功した。

　ただし目標は、伝送先会場の広さや構造がどのようであっても、映像と音の位置にずれがほとんど感じられないようにするとともに、体育館やスタジアムの音の響きを忠実に再現することだ。伝送先会場でスピーカーが少ない場合でも、出力するチャネルを自動選択することで、リアルな音場を再現できるようにする。

図3 リアルタイム波面合成技術のイメージ（出典：NTT）

多様な伝送路でリアルな映像と音声伝送を実現するAdvanced MMT

　MMT（MPEG Media Transport）は、動画像の国際標準化機関MPEG（Moving Picture Expert Group）が規格化する伝送規格だ。映像や音声などを多重化して可変パケットサイズで伝送するなど、HEVCとマルチチャネル3Dオーディオの伝送が柔軟性高く実現できる技術が盛り込まれた。

　NTTはこの規格策定への貢献に加え、高品質オーディオをロスレス圧縮（圧縮伸長を繰り返しても劣化しない）MPEG-4 ALS（MPEG-4 Audio Lossless Coding）策定の中心にもなっている。

　これらの規格に盛り込まれた技術とともに、上述のリアルタイム波面合成技術や独自に圧縮率を高めたHECV技術なども加え、全ての情報をパッケージして伝送し、映像と音響とが完全に同期して再現できる新しい伝送技術として開発しているのがAdvanced MMTだ。

　Advanced MMTは、被写体をどの座標に表示させるか（図1のi）、被写体以外はどの領域を切り出すか（図1のii）、音響空間はどれを使うか（図1のiii）を自動判断して制御する。これにより、伝送先会場に即したリアルな映像と音響の再現が可能になる。