リアルタイムに配信したモーションデータを3Dモデルへ反映し、視聴可能にする技術を開発

2022-01-112023-01-02

VR空間での没入感が高いコンテンツの大規模配信も可能に

VR空間での没入感が高いコンテンツの大規模配信も可能に

2022-01-11 株式会社NTTドコモ

株式会社NTTドコモ（東京都千代田区、代表：井伊基之、以下、ドコモ）は、モーションキャプチャによって取得したモーションデータをリアルタイムに配信して3Dモデルに反映する技術（以下、本技術）を開発しました。本技術では、視聴者の端末上でリアルタイムに動く3Dアバターを自由な視点から見ることができ、より没入感のある体験を提供することができます。

本技術では、モーションキャプチャシステムを用いて取得したモーションデータをVR空間上の3Dモデルにリアルタイムに反映するため、ライブ配信と自由視点での視聴が可能であり、従来と比較し没入感の高い体験を提供できます。本技術ではモーションデータのみのデータをリアルタイムに配信するため、最小限のデータだけで3Dモデルによるライブ配信が可能となります。さらに、多人数のモデルのモーションデータを同時に配信することもできます。また、映像配信の分野で広く使われている配信技術を利用しているため、専用の配信環境を用意する必要がなく、大量配信するためのネットワークとしてCDN※1を活用することで、低コストでの大規模配信を可能にします。

今後もドコモは、没入感の高いVRに関連する映像配信技術の研究・開発に継続して取り組み、新たな映像体験を提供してまいります。
なお、本技術はNTTグループが展開するXR事業（NTT XR）における取り組みの1つです。

2022年1月17日（月曜）から1月19日（水曜）にオンラインで開催する※2「docomo Open House’22」にて、本技術を活用したウルトラマンとのコラボレーションによるライブ配信デモを行います。そのほか、Perfumeとタッグを組んで制作したVRコンテンツ「Perfume～Volumetric Video Performance～」など、ドコモの最新技術を活かしたさまざまなVRコンテンツもご紹介します。なお、これらのコンテンツは、「Virtual Event Platform」アプリダウンロードサイトにてアプリをダウンロ―ド※3いただくことでお楽しみいただけます。

◆「Virtual Event Platform」アプリダウンロードサイト：
https://vepapp.ncvepf.jp/grset/portal

※１．CDNとは、「コンテンツデリバリーネットワーク」の略で、大容量のデジタルコンテンツをインターネット上で大量配信するためのネットワークのことを指します。

※２．「docomo Open House’22」イベントサイト：https://openhouse.docomo.ne.jp/

※３．「Virtual Event Platform」アプリは無料でご利用いただけます。（通信料は別途かかります。）

別紙1　本技術の概要

別紙2　「docomo Open House’22」での展示概要

別紙1　本技術の概要

1. 特長

専用の機材を用いて取得するモーションデータを、別途用意した3Dモデルに配信することでモデルが動いているさまを視聴できる技術。
リアルタイムでのライブ配信、視聴が可能。
映像を3Dの自由視点映像として視聴可能であり、没入感が高い。
類似するほか技術よりも比較的小さなデータの配信で実現可能であることから、幅広い通信環境、視聴デバイス環境のお客さまに楽しんでいただくことが可能。
従来の配信技術を応用して配信しており、CDNを利用し低コストでの大規模配信が可能。

2. システム構成

3. 視聴環境

視聴については下記の「Virtual Event Platform」アプリダウンロードサイトにてアプリ※1をダウンロ―ドいただくことでお楽しみいただけます。

「Virtual Event Platform」アプリダウンロードサイト
https://vepapp.ncvepf.jp/grset/portal
「Virtual Event Platform」サポート対象
- Android9.0以降
- iOS14以降
- Windows 10 64bit
- macOS 10.15 Catalina以降

※１「Virtual Event Platform」アプリは無料でご利用いただけます。（通信料は別途かかります。）

別紙2　「docomo Open House’22」での展示概要

1. 展示概要

（1）「ウルトラマンリアルタイムモーションキャプチャラボ」

モーションキャプチャで取得した動きなどと、音声のデータを大規模にライブ配信する技術を活用した、ウルトラマンとのコラボレーションによる「リアルタイムモーションキャプチャラボ」と「VIRTUAL TOKYO」を展示します。
「リアルタイムモーションキャプチャラボ」では「docomo XR Studio※1」と接続してアクターがバーチャルヒーローに変身し、怪獣たちとライブデモを実施します。
「VIRTUAL TOKYO」では、バーチャルヒーロー&ウルトラマンVSゼットンの大迫力の戦いを自由視点で視聴できます。

（2）「Perfume Volumetric Video Performance」

-Perfume Volumetric Video Performance-

Perfumeと「Volumetric Video Streaming」の技術のタッグにより、特別な演出による「docomo Open House ‘22」だけの限定コンテンツを自由視点で視聴可能です。
「Volumetric Video Streaming」とは、被写体が動いている様子を多数のカメラを含む専用装置を用いて全方位から撮影することで、高精細な3Dモデルによる映像を作ることができ、完全自由視点映像として楽しめる技術です。
本技術とPerfumeのダンスパフォーマンスを組み合わせ、これまでにない映像体験を実現しました。