このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
ワシントン大学とFacebookによる米研究チームが開発した「Animating Pictures with Eulerian Motion Fields」は、煙、水、雲、炎などの流体を撮影した写真をアニメーションビデオに変換するシステムだ。水は流れ、煙は立ちのぼり、炎が燃えるといった連続的な流体運動のループ映像を自動生成する。
システムは、1枚の流体画像を入力すると、画像から画像へスタイル変換するI2I変換(image-to-image translation)ネットワークで流体の動きを推定。その情報を基に適切なテクスチャを合成してフレームを埋めていく。最後に、シームレスなループ映像を生成するため、動画が常に同じフレームで始まり、同じフレームで終わる技術を導入し不自然さを軽減した映像に仕上げる。
これまでの手法とは違い、あるフレームから次のフレームへの粒子の動きをオイラー積分を介してシミュレーションしている。深層学習ネットワークは、オンライン上の流体動画データセットから抽出した画像とその動きのペアで訓練している。
システムの精度を確かめるデモでは、水が流れる滝、煙が立ちのぼる汽車、湖の波紋、燃える炎、山火事の煙などの、違和感が少ない自然なループ映像を示した。その様子は動画で確認できる。
Copyright © ITmedia, Inc. All Rights Reserved.
Special
PR