手首装着型小型カメラによるジェスチャー認識技術を開発 ~スマホ操作や手話認識などへの応用を期待~

ad
ad

2020-10-21 東京工業大学,科学技術振興機構

ポイント

  • 手首装着型小型カメラ1台のみで実現可能な、手指ジェスチャー認識技術の開発に成功。
  • 深層学習で3次元手指姿勢を推定し、高い認識精度を実現。
  • 小型カメラ搭載スマートウォッチを使用した、スマホ操作や手話認識などへの応用を期待。

東京工業大学 情報理工学院 情報工学系の小池 英樹 教授の研究グループは、手首装着型小型カメラで撮影した手の甲のカラー画像を深層学習ネットワークで学習することで、手指のジェスチャーを認識する技術を開発した。

従来の手指認識は、固定したカメラで撮影するか、手袋型デバイスを使用する必要があり、前者は手指の稼働範囲が制限され、後者は手袋着用の手間があった。本成果によって、認識範囲の制限がなくなり、例えば、手指のジェスチャーだけでスマートフォンのアプリケーションを起動する、音量を変える、といった操作ができるようになる。具体的な使用デバイスとしては、小型カメラ搭載のスマートウォッチなどを想定している。

今回の成果は、東京工業大学の他、米国カーネギーメロン大学 ロボティクスインスティテュートのKris M. Kitani 教授、オーストラリアNew South Wales大学のAaron Quigley 教授らとの共同研究によるもので、2020年10月23日(米国時間)に国際会議「The 33rd Annual ACM Symposium on User Interface Software and Technology(UIST2020)」で発表される。

本研究成果は、以下の事業・研究領域・研究課題によって得られた。

科学技術振興機構(JST) 戦略的創造研究推進事業 チーム型研究(CREST)
研究課題名:技能獲得メカニズムの原理解明および獲得支援システムへの展開
研究領域:人間と情報環境の共生インタラクション基盤技術の創出と展開
(研究総括:間瀬 健二(名古屋大学 大学院情報学研究科 教授))
研究代表者:小池 英樹(東京工業大学 情報理工学院 教授)
研究期間:平成29年10月~令和5年3月

詳しい資料は≫
<論文タイトル>
“Back-Hand-Pose: 3D Hand Pose Estimation for a Wrist-worn Camera via Dorsum Deformation Network”
<お問い合わせ先>

<研究に関すること>
小池 英樹(コイケ ヒデキ)
東京工業大学 情報理工学院 情報工学系 教授

<JST事業に関すること>
舘澤 博子(タテサワ ヒロコ)
科学技術振興機構 戦略研究推進部 ICTグループ

<報道担当>
東京工業大学 総務部 広報課
科学技術振興機構 広報課

タイトルとURLをコピーしました