2台のロボットを1人で同時に操作し卓球ができるのか？　ソニーCSLと慶應大が実験：Innovative Tech

[山下裕毅，ITmedia]

　ソニーコンピュータサイエンス研究所（ソニーCSL）Superceptionプロジェクトと慶應義塾大学大学院メディアデザイン研究科の研究チームがムーンショット研究開発事業の一環として開発した「Parallel Ping-Pong: Demonstrating Parallel Interaction through Multiple Bodies by a Single User」は、1人のプレイヤーが2台のロボットアームを駆使し、2つのコートで同時に卓球をプレイするシステムだ。1人が複数の身体を同時に操作できるかを検証した。

　システムは、4台（片方の卓球台に2台）のAzure Kinectと先端に卓球のラケットを搭載した2台のロボットアーム、4つのXimea MQ013CG-ONカメラによるピンポン玉追跡装置で構成する。

　プレイヤーはVR HMD（ヘッドマウントディスプレイ）とVRコントローラーを装着し、2台のロボットアームを同時に操作する。VRコントローラーを持った手や腕を動かすことで、ラケットの向きや位置を瞬時に変更できる。

　VR HMDでは、ピンポン玉の位置や方向に応じて、どちらか一方のロボットアームの姿を含むテーブルを映し出す。映像は、Azure Kinectで取得した点群を1フレームごとにレンダリング。映し出す映像は、ピンポン玉がロボットアームにより近づいてきた方を優先する。打つ状況に差し迫った方へ動的に視点移動が自動で行われるわけだ。

　しかし、映像が切り替わる中でピンポン玉を打ち返すのは非常に難しい。単純に2台同時打ちが難しい上、VRコントローラーとロボットアームの動きに遅延が生じているのが要因だ。

　そこで、プレイヤーの作業負荷とシステムの遅延を減らすため、ピンポン玉の軌道を計算し、推定したヒットポイントに自動でロボットアームが移動する設定を組み込んだ。これにより自動でロボットアームの適切な配置をしてくれるが、プレイヤーの手の動きとは常に連動しているため、主体性を損なうことなく、最後の一押しによる打ち返しが行える。

　2021年12月に東京で開催された、SIGGRAPH Asia 2021 Emerging Technologiesにて体験デモを行った。

Source and Image Credits: Kazuma Takada, Midori Kawaguchi, Yukiya Nakanishi, Akira Uehara, Mark Armstrong, Adrien Verhulst, Kouta Minamizawa, and Shunichi Kasahara. 2021. Parallel Ping-Pong: Demonstrating Parallel Interaction through Multiple Bodies by a Single User. In SIGGRAPH Asia 2021 Emerging Technologies (SA '21 Emerging Technologies). Association for Computing Machinery, New York, NY, USA, Article 12, 1-2. DOI:https://doi.org/10.1145/3476122.3484836