ITmedia NEWS > AI+ >

AIで1枚の人物写真から高精細3Dモデル作成 Facebookなど開発Innovative Tech

» 2020年06月17日 06時46分 公開
[山下裕毅ITmedia]

Innovative Tech:

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

 南カリフォルニア大学、Facebook Reality Labs、Facebook AI Researchによる研究チームが開発した「PIFuHD」は、1枚の人物写真から衣服を着た人体3次元モデルを高解像に再構築する深層学習フレームワークだ。指や顔の特徴、衣服のひだといった細かい情報や、見えていない箇所まで3Dで再現する。

photo 高解像度の人物画像を入力に、高解像度で服を着た人物の3次元形状を再構成する

 人物の3Dモデルを忠実に作成する場合、従来は「Light Stage」と呼ばれる、全方位に多数のカメラやセンサーを配置した球形ドーム型キャプチャーシステムが用いられてきた。しかし、Light Stageは高価なため一般的に導入は難しい。そこで1枚の画像から深層学習を用いて再構築する手法が注目されている。それでも細部を再構成することはできず、Light Stageで作成したモデルより精度などが著しく低いままだった。

 この課題に挑戦したのが本手法で、2019年に発表した「PIFu」(Pixel-Aligned Implicit Function)をベースにしたアーキテクチャを採用している。

 PIFuの特徴としては、学習中のメモリ効率が良く、3Dメッシュの生成も必要ない点が挙げられる。しかし、入力サイズ(最大512×512ピクセル)と画像特徴量の解像度(128×128ピクセル)が制限されている。

 今回の手法では、PIFuネットワークに加えて、1024×1024ピクセルの画像を入力に512×512ピクセルの画像特徴量で処理するネットワークを使うアプローチでこの制限を回避する。3次元深度の生成が不要となるために画像全体を学習する必要がなく、画像の切り抜きを用いて訓練できる点や、メモリ容量に制限されずに高解像度の画像が入力できる点などがメリットだ。

 さらに、画像空間における法線マップ(正面と背面)を予測し、これらを追加入力としてネットワークに供給することで、見えない裏側についても高い解像度で画像を生成する。

photo PIFuHDアーキテクチャ

 これにより学習したモデルは、追加の後処理や側面情報がなくても、元画像の細部を保持したまま3Dモデルを生成できる。出力結果は、類似研究と比べても定性的に上回ると研究チームは主張している。

 出力結果の動画はこちら。説明の動画はこちら

photo インターネット上の画像からPIFuHDを使って出力した3次元形状

GPUがない人でもテストができるデモを公開中

 GPU環境がない人でもPIFuHDの出力結果を試せるように、クラウドベースのプログラミング実行環境「Google Colaboratory」にてデモを公開している。また、その成果をハッシュタグ#pifuhdでTwitter投稿してもらうことで、課題を明らかにし、改善していく試みも行っている。

Copyright © ITmedia, Inc. All Rights Reserved.