世界初！自分の顔に他者の口の動きと表情をリアルタイムに再現する「ＦａｃｅＳｈａｒｉｎｇ」開発

2020-01-112022-02-10

遠隔で専門的な会話のサポートや口の動かし方の伝達が可能に

2020-01-10 Ｈ２Ｌ株式会社,株式会社ＮＴＴドコモ

Ｈ２Ｌ株式会社（以下、Ｈ２Ｌ）と株式会社ＮＴＴドコモ（以下、ドコモ）は、Ｈ２Ｌが提供する「ＢｏｄｙＳｈａｒｉｎｇ技術^※１」の新技術として、自分の顔に他者の口の動きと顔の表情をリアルタイムに再現する「ＦａｃｅＳｈａｒｉｎｇ^ＴＭ」（以下、本技術）を共同開発しました。

本技術を活用することで他者に代わって自分が会話をすることや、他者の口の動かし方を実際に体験できるようになるため、遠隔からサポートを受けながら外国語での会話や専門的な知識が必要な会話などを行うことが可能となります。

本技術は、頬に装着したデバイスから口周りの筋肉に電気刺激を与えて収縮させることで、他者の口の動きやＡＩが指定する口の動きを再現する技術です。複数のデバイスを用いることで、一人の口の動きを複数人に同時に再現することも可能です。

さらに、他者の顔の３Ｄ映像を自分に投影することで顔の表情を再現し、スピーカーを使用して他者の音声を再生することで声も再現できます。

将来的には、口の動かし方の伝達が難しい外国語の発音や演技などを、直接口を動かして伝えることをめざしています。

【「ＦａｃｅＳｈａｒｉｎｇ」使用イメージ】

また、本技術を高速・大容量、低遅延、多数接続の特徴をもつ５Ｇと組み合わせることで、遠く離れた場所でも他者の口の動きや顔の表情をリアルタイムに再現することや、より多くの人数で同時に同一の体験を共有することが期待できます。

【「ＦａｃｅＳｈａｒｉｎｇ」がめざす活用シーン例】

・言語の違いなどで会話が難しい場合に他者やＡＩの語学力を使って円滑にコミュニケーションを取る

・プレゼンテーションの上手な人の口の動かし方や間の取り方を体感する

・プロの歌手の口の動かし方を学ぶ

・口を動かす練習用プログラムを組んだＡＩを使って、口の動きを習得する

・アニメーションキャラクターや動物の口の動き、顔の表情を体感する

なお、「ＦａｃｅＳｈａｒｉｎｇ」は２０２０年１月２３日（木）、２４日（金）の両日に開催するドコモのイベント「ＤＯＣＯＭＯＯｐｅｎＨｏｕｓｅ２０２０」にて展示を行います。

■ＤＯＣＯＭＯＯｐｅｎＨｏｕｓｅ２０２０http://docomo-openhouse.jp/2020/

Ｈ２Ｌとドコモは今後も、「ＦａｃｅＳｈａｒｉｎｇ」と、Ｈ２Ｌが提供する「ＢｏｄｙＳｈａｒｉｎｇ技術」の研究開発を推進し、身体全体への拡張を含めた検討をすすめていきます。

※１「ＢｏｄｙＳｈａｒｉｎｇ技術」とは、筋変位センサーを活用し、手や腕などの身体情報をコンピューターと相互伝達することにより、人やロボット、ＶＲ・ＡＲのキャラクターへ体の動きを伝えることができ、独自の触感提示技術により、他人の体験やＶＲ・ＡＲ空間の体験を体に伝えることができる技術です。

＊「ＦａｃｅＳｈａｒｉｎｇ」は、株式会社ＮＴＴドコモの商標です。

【本件に関する報道機関からのお問い合わせ先】

・H2L株式会社広報部

・株式会社NTTドコモ 5Gイノベーション推進室

別紙

「ＦａｃｅＳｈａｒｉｎｇ」の概要

１．「ＦａｃｅＳｈａｒｉｎｇ」の仕組み

頬に装着したデバイスから口周りの筋肉に電気刺激を与えて収縮させることで、他者の口の動きを再現する技術です。また他者の口の動きのほか、人工知能（ＡＩ）が指定する口の動きを再現することが可能です。物理的な動作が大きい口について、表情をできるだけさえぎらず動作を制御できる筋周囲のみに電気刺激を与えて制御しています。

２．システム構成イメージ