胸装着型小型カメラ１台によるモーションキャプチャ技術を開発

東京工業大学 情報理工学院 情報工学系の小池 英樹　教授らの研究グループは、胸装着型の小型超魚眼カメラで撮影した映像を深層学習ネットワークで学習することで、利用者の身体形状を正確に推定するモーションキャプチャ技術を開発した。さらに、身体形状と同時に頭部の向きを推定し、一人称視点映像を合成することを可能にした。

従来の光学式モーションキャプチャでは、複数台の高性能カメラを部屋の天井や壁に固定し、利用者はマーカー付きスーツを着用して計測する必要があるため、利用者の運動範囲は狭い空間内に制限された。また、一人称視点映像の合成には頭部にカメラを別途装着する必要があった。今回開発した手法では、運動範囲の制限がないため、スポーツ科学、医療、アニメーション制作などの分野でのモーションキャプチャの利便性が高まると期待される。さらに、使用機材が小型カメラ１台のみであるため、コストダウンも可能である。

今回の成果は、東京工業大学の他、米国カーネギーメロン大学 ロボティクスインスティテュートのＫｒｉｓ Ｍ． Ｋｉｔａｎｉ　教授との共同研究によるもので、２０２０年１０月２１日（米国時間）に国際会議「Ｔｈｅ ３３^ｒｄ Ａｎｎｕａｌ ＡＣＭ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ Ｓｏｆｔｗａｒｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ（ＵＩＳＴ２０２０）」で発表される。