映像から現場改善や安心安全な社会を実現
2021-01-13 株式会社富士通研究所
株式会社富士通研究所（注1）（以下、富士通研究所）は、映像による人の行動認識において、箱を開けて物品を取り出すなど、複数の関節が連動して動くような複雑な行動についても、隣り合う各関節の位置や接続関係を用い、深層学習で高精度に認識できる技術を開発しました。本技術は、行動認識分野における骨格データを用いた世界標準のベンチマーク（注2）において、隣り合う関節の情報を用いない従来技術の正解率を大きく上回り、世界最高精度を達成（注3）しました。
当社は、本技術を工場での作業手順の確認や公共機関における危険行動の検知などに活用することで、安全性やサービスを大幅に改善するなど、安心安全な社会の実現に貢献していきます。
当社は、本技術の詳細を、2021年1月10日（日曜日）から2021年1月15日（金曜日）まで、オンラインで開催されている国際会議「25th International Conference on Pattern Recognition（以下、ICPR2020）」にて発表します。
近年のAI技術の進歩に伴い、工場での作業手順の確認や公共機関における危険行動の検知などを目的に、深層学習によって映像から人の行動を認識できるようになりつつあります。一般に、AIによる人の映像認識では、手や肘、肩などの骨格の各関節位置の時間的変化を特徴量として抽出し、立つ、座るなどの簡単な行動パターンと紐づけて認識していました。
今回開発した時系列行動認識技術では、箱を開けて物品を取り出す開梱作業など、複数の関節が連動して変化するような複雑な行動についても、深層学習のAIモデルによる高精度な認識を実現しました。
開発した技術
開梱作業などの複雑な行動では、腕の曲げ伸ばしに伴い、手や肘、肩の関節が連動して動きます。今回、関節位置をノード（頂点）として、人体の構造に基づいて隣り合う関節を結んだエッジからなるグラフを採用し、グラフ構造の畳み込み演算を行うグラフ畳み込みニューラルネットワーク（注4）の新たなAIモデルを開発しました。本モデルを、あらかじめ関節の時系列データを用いて学習することで、隣り合う関節との接続強度（重み）が最適化され、行動の認識に有効な接続関係が獲得できます。従来技術では関節ごとの個別の特徴を正確に捉える必要がありましたが、学習済みのAIモデルでは、連動する隣り合う関節を併せた特徴量が抽出でき、複雑な行動に対する高精度な認識を実現しました。
図1 開発技術の概要
本技術を行動認識分野における骨格データを用いた世界標準のベンチマークで評価したところ、公開データセットにおける、立つ、座るなどの単純な行動では、隣り合う関節の情報を用いない従来技術と同等の正解率（注5）を保ち、開梱作業、物を投げるなどの複雑な行動では正解率が大きく向上し、全体として7%以上も上回り世界一の認識精度を達成しました。
図2 開発技術による正解率(%)の改善
今後
当社は、今後、本技術で得られた複雑な行動を認識できるAIモデルを、当社の行動認識AI「行動分析技術 Actlyzer（アクトライザー）」（注6）の基本動作100種類に追加することで複雑な行動を高精度に認識するモデルを短時間で構築可能にするとともに、2021年度中の実用化を目指し、様々な業務の現場改善や安心安全な社会に向けた課題解決に貢献します。
商標について
記載されている製品名などの固有名詞は、各社の商標または登録商標です。
注釈
注1
株式会社富士通研究所：
本社 神奈川県川崎市、代表取締役社長 原 裕貴。
注2
行動認識分野における骨格データを用いた世界標準のベンチマーク：
Kinetics-Skeletonデータセットによるベンチマーク。
注3
世界最高精度を達成：
2021年1月13日現在、当社調べ。
注4
グラフ畳み込みニューラルネットワーク：
グラフ構造に畳み込み演算を行う深層ニューラルネットワーク。
注5
従来技術と同等の正解率：
香港中文大学が公開したKinetics-Skeletonデータセットを用い、2018年に香港中文大学が発表した技術で評価。正解率は予測結果と正解が一致している割合。
注6
「行動分析技術 Actlyzer」：
映像から人の様々な行動を認識するAI技術「行動分析技術 Actlyzer」を開発（2019年11月25日プレスリリース）。
本技術は、AI画像解析ソリューション「FUJITSU Technical Computing Solution GREENAGES Citywide Surveillance（グリーンエイジズ シティワイド サーベイランス）」の行動検知として2020年11月に商品化。
本件に関するお問い合わせ
株式会社富士通研究所
デジタル革新コア・ユニット
