タッチペンに魚眼カメラ搭載、両手の動きを検出して操作に応用　Preferred Networksら開発：Innovative Tech

[山下裕毅，ITmedia]

　AIベンチャーのPreferred Networks（PFN）とカナダ・ウォータールー大学による研究チームが開発した「PenSight」は、タッチペン上端に魚眼カメラを取り付け、両手のジェスチャーを認識できるようにしたシステムだ。

　魚眼カメラをタッチペンの上部に取り付けることで、タッチペンを通常利用しながら両手のポジションを検出し、ジェスチャー操作を可能にする。

　プロトタイプは、180度魚眼レンズを備えた単一のカメラモジュールと、3Dプリンタで印刷した接続部品で構成する。

　手の位置と形状の予測には深層学習を用いて分類し、手とペン間の相対距離を決定するための回帰、そして指先を識別するためのキーポイント検出を行う。

　このシステムでは、タッチペンを使用する際の拡張機能として多様な操作が行える。例えば、タッチペンを持つ手・持たない手でのジェスチャー入力、環境内の物理コンテンツの検出、タブレットグリップの検出など、さまざまな組み合わせで操作が可能だ。

　今回のプロトタイプで取り付けたカメラは、USBケーブルを用いてコンピュータと接続しており、理想的な形とはいえない。ワイヤレスカメラにすると、全体の重量や大きさとのトレードオフになるため、無線化は今後の課題としている。

　研究チームは、この課題を解決するための将来に向けたコンセプトアイデアを2つ提案している。

　1つ目は、タッチペン上部に視野角180度の広角レンズカメラを2台上下に向けて搭載するアイデア。今回のプロトタイプと違い、タッチペンの途中を透明ケースに収納し距離を確保しており、そのためキャプチャ時によけいな接続部品が映り込まない。

　2つ目は、1つ目同様タッチペンの途中部分を透明にした上で、下部に上向きカメラを設置し、上部の曲面ミラーで反射と屈折を利用し検出するというもの。曲面ミラーにより広視野角サポートが可能になると見込んでいる。