「イマーシブテレプレゼンス」技術の未来と課題

　このような要素技術を集めて発表されたのがKirari!だ。この技術を適用すれば、スポーツ鑑賞はもちろんのこと、コンサートや演劇などあらゆるエンターティンメントのパブリックビューイングの質が大きく変わることが期待される。

　なにしろ特殊な眼鏡やヘッドフォンなしでもリアルな臨場感が体験できるのだ。例えば秋葉原のAKB48と博多のHKT48が近所の公民館のパブリックビューイングで仮想的に一堂に会してパフォーマンスを行うことだって不可能ではない。

　また、各地のお祭りを遠隔地の会場で再現したり、なかなか気軽に行けない地方の文化財、建造物を実物により近い映像で鑑賞したりと夢は広がる。ビジネス関連でいえば、屋内広告ではこれまでにない表現力で効果を上げそうだ。テレビ会議の高度化はもちろん、在宅勤務などテレワーク社員があたかも社内にいるように見せることもできるだろう。

　ただし、今のところNTTはカメラを固定して撮影できる競技の生中継に絞って技術開発をしている。2016年には卓球の公式戦を中継し、パブリックビューイングでリアルに再現できることを目指す。

　現時点では、背景映像を被写体映像に合わせて切り抜き、そこに被写体映像をはめ込む技術に課題がある。被写体の動きの方向が大きく影響し、1人や2人の被写体の1方向への動きならよいが、複数の人がさまざまな方向に動くサッカーのような競技ではまだまだ課題がある。

　また、カメラの角度により伝送先会場で座っている人の位置から見て不自然な映像にならないようにすることも課題の1つだ。2020年のオリンピックやパラリンピックでは、これら課題をクリアして、多くの競技のリアルなパブリックビューイングが実現できることを期待したい。

関連するキーワード

HEVC Main 10 4：2：2プロファイル

　映像規格のHEVC（H.265とも呼ばれる）では、用途別に圧縮データの互換性を保つために機能性をプロファイルとして定義する。「Main」プロファイルは8ビット階調、「Main 10」プロファイルは10ビット階調の映像となる。

　また映像の劣化の度合いには色差形式が影響し、画質がほとんど劣化せずに伝送できる4：4：4色差形式、放送局が素材伝送で使用する4：2：2色差形式、一般のデジタル放送やDVDに使われている4：2：0色差形式が現在使われる。

　なお、色差形式は輝度情報Yと色差情報Cb、Crの3つの成分比率を表している。8ビットよりは10ビット、4：2：0色差形式よりは4：2：2色差形式の方が美しい映像が得られて劣化が少ない。

「イマーシブテレプレゼンス」との関連は？

　イマーシブテレプレゼンス実現のためには、伝送による映像劣化は大きな問題だ。できるだけ高品位の映像規格を利用することが望ましい。しかし、リアルタイム伝送ではデータ量はコンパクトであればあるほどよいので、バランスが大切だ。

　将来的には12ビット階調と14ビット階調、4：4：4色差形式へとHEVCが拡張されそうだが、HEVC Main 10 4：2：2プロファイルは放送局が素材映像の伝送に使用している形式であり、現在のところ現実的なイマーシブテレプレゼンスの映像形式として最適だ。

パブリックビューイング

　スポーツや芸能などが行われる現場の映像や音声を、遠隔地にあるホールやスタジアム、映画館など比較的大人数が集える施設にリアルタイムに伝送し、再現する催し。サッカーのワールドカップなどの大試合やオリンピック、野球の重要試合、ボクシング、あるいはコンサートなどが、近くの町にある会場で気軽に観戦、鑑賞できるとあって人気が高い。大画面、高精細映像、迫力ある音響など、家庭では整えられない設備と、なにより参加者の熱気がリアルな現場の空気を再現するのが魅力だ。

「イマーシブテレプレゼンス」との関連は？

　イマーシブテレプレゼンスを使えば、既存技術よりも、よりリアルに本物の試合やコンサートなどの状況を再現できる。4K／8K映像、マルチチャネル3Dオーディオを最適に組み合わせて、パブリックビューイング会場に実際の会場の環境をそのまま持ち込むような、これまでにない体験が得られるシステムが誕生すると考えられる。NTTでは来場者の「目がキラリとする」ような魅力的で楽しい体験ができるようにとの思いを込め、当該システムを「Kirari!」と名付けた。

MPEG-4 ALS

　MPEG-4オーディオ規格の一部。ALSはAudio Losslessを意味し、音声信号を圧縮しても完全に元通りの信号に復号できる可逆圧縮技術であり、特に高サンプリングレートかつマルチチャネル音声で高い圧縮率を持つ。また、デコードの高速化も同時に実現する。NTTが要素技術を提案し、ISO/IECにより、「14496-3 3rd ED AMD 2」（通称ALS）として国際標準に承認された。

「イマーシブテレプレゼンス」との関連は？

　この規格の特徴から、競技会場などの音響を多数のマイクを並べたマイクアレーで捉え、マルチチャネル音声データとして伝送するのに都合がよい。パブリックビューイングなどの伝送先会場では高速にデコードし、スピーカーアレーを用いて、もともとの会場の音響をリアルに再現できる。