ドコモとH2L、自分の顔に他者の口の動きと表情をリアルタイムに再現する技術を開発

[ITmedia]

　NTTドコモとH2Lは、H2Lが提供する「BodySharing」の新技術として、自分の顔に他者の口の動きと顔の表情をリアルタイムに再現する「Face Sharing」を共同開発したと発表した。

　BodySharingとは、筋変位センサーを活用し、手や腕などの身体情報をコンピュータと相互伝達することにより、人やロボット、VR・ARのキャラクターへ体の動きを伝える技術。独自の触感提示技術により、他人の体験やVR・AR空間の体験を体に伝えることができる。

　今回発表された「Face Sharing」は、頬に装着したデバイスから口周りの筋肉に電気刺激を与えて収縮させることで、他者の口の動きを再現する技術のこと。また、AIが指定する口の動きを再現することもできる。口元は物理的な動作が大きいが、表情をできるだけ遮らず、動作を制御できる筋周囲のみに電気刺激を与えて制御する。

　複数のデバイスを用いることで、一人の口の動きを複数人に同時に再現することも可能。さらに、他者の顔の3D映像を自分に投影することで顔の表情を再現し、スピーカーを使用して他者の音声を再生することで声も再現できる。将来的には、口の動かし方の伝達が難しい外国語の発音や演技などを、直接口を動かして伝えることを目指しているという。

　また、本技術を次世代モバイル通信技術の5Gと組み合わせることで、遠く離れた場所でも他者の口の動きや顔の表情をリアルタイムに再現したり、より多くの人数で同時に同一の体験を共有したりする成果が期待できる。なお、H2Lは電気刺激による身体制御のノウハウ提供および研究開発の運営、NTTドコモは5Gネットワークの提供および研究開発の運営を担っている。

　今後の活用シーンとしては、言語の違いなどで会話が難しい場合に他者やAIの語学力を使って円滑にコミュニケーションを取る、プレゼンテーションの上手な人の口の動かし方や間の取り方を体感する、プロの歌手の口の動かし方を学ぶことなどが挙げられている。