ITmedia NEWS > 社会とIT >

顔の表情をアバターに即時反映して表示する画面付きフルフェイスマスク 「デジタルカメン」誕生Innovative Tech

» 2020年09月02日 15時15分 公開
[山下裕毅ITmedia]

Innovative Tech:

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

 公立はこだて未来大学平田竹川研究室、個人のメディアアーティスト徳田雄嵩氏、慶応義塾大学杉本研究室杉浦研究室、英ユニバーシティ・カレッジ・ロンドンInteraction centreによる研究チームが開発した「デジタルカメン e2-MaskZ」は、顔の前面に装着し、着用者の表情をリアルタイムでアバターに反映させる薄型のフルフェイスマスクディスプレイだ。

photo デジタルカメンの装着例

 顔の表情をアバターに転送する技術はこれまでも盛んに研究されてきたが、バーチャル環境での活用が多かった。今回のアプローチは、昨今のコロナ禍対策を兼ねた対面コミュニケーションでの利用を目指すものだ。

 そのため、日常的に着用できるように軽量な薄型ディスプレイを採用。一般的な布マスクやフェイスシールドの強化版として、防護マスクのようなフルフェイスでありながら表情も伝える。

photo 装着しながら対面コミュニケーションをする様子
photo おしゃべりも表情豊かに

 デジタルカメンには、前面に表情が出力される薄型有機ELディスプレイ、裏面に近距離で表情を認識するための光反射型センサーアレイが組み込まれている。

photo 40個の特徴点で表情を捉える光反射型センサーアレイ

 光反射型センサーアレイは、40個の特徴点で中の人の表情(主に眉毛、頬、目、口)をミリ単位で測定する。表情が変わるとセンサーと皮膚との距離が変化する特徴を用い、教師あり学習のサポートベクターマシン(SVM)により、10種類の表情に分類する。

 会話時を想定しているため、感情を表す表情だけでなく、発話時(母音発音時)の口の動きも分類している。実験では、平均79%の分類精度を達成し、被験者からは自分の発話が反映されているという感触も得られた。

photo 実験で使用した10種類の表情
photo 着用者の表情の遷移を反映した一連のアバターアニメーション
photo 驚きの表情
photo 困った表情

 将来は10種類の表情だけでなく、視線の方向やまばたきを識別するなど、よりリアルな表情を再現したいという。

 今回のアプローチでは感染防止の活用例を打ち出しているが、筋萎縮性側索硬化症(ALS)患者の多様な表情の生成、小児患者の歯科治療時における不安軽減、面接官の顔を制御したリラックス空間の面接環境、接客業における感情労働の軽減など、さまざまな応用も想定している。

photo デジタルカメンe2-MaskZを用いた活用例

 動画はこちら

 この研究「Digital Full-Face Mask Display with Expression Recognition using Embedded Photo Reflective Sensor Arrays」の詳細は11月9〜13日に開催される国際学会IEEE ISMAR 2020で口頭発表を予定している。

Copyright © ITmedia, Inc. All Rights Reserved.