映像から人の様々な行動を認識するAI技術「行動分析技術 Actlyzer」を開発

2019-11-25

大量の学習データが不要となり短期間で現場に導入可能

2019-11-25　株式会社富士通研究所,富士通研究開発中心有限公司

株式会社富士通研究所（注1）（以下、富士通研究所）と富士通研究開発中心有限公司（注2）（以下、FRDC）は、大量の学習データを準備しなくても、映像から人の様々な行動を認識するAI技術「行動分析技術 Actlyzer（アクトライザー）」を開発しました。

従来、AIで人の行動を認識するためには、認識対象となる行動ごとに大量の学習用の映像データが必要となるほか、新たな行動を追加するにはまた一から映像データを収集する必要があり、実際には現場導入までに数カ月の時間を要するという課題がありました。

今回、人の行動は、歩く・首を振る・手を伸ばす、などの人の基本的な動作の組み合わせなどから構成されているという特徴を活かして、約100種の基本動作をあらかじめ学習して認識できるようにしておき、それを組み合わせることで、不審行動や購買行動といった人の複雑な行動を認識することを可能にしました。

本技術により、認識したい行動を基本動作の組み合わせで指定できるため、人の様々な行動をそれぞれ認識するシステムを短期間で現場に導入することが可能になります。これにより、従来目視で行っていた不審者の発見の自動化、小売店での来店者の購買行動の認識からそれぞれの商品の関心度の調査の実施、工場での熟練者と初心者の技能比較など、様々な業務のセキュリティ向上や現場改善などの課題解決を支援します。

開発の背景

近年のAI技術の進歩に伴い、ディープラーニングによって映像から人の行動を認識することが可能となってきています。しかし、例えば不審行動を認識するためには、その行動が含まれる映像を大量に準備する必要があり、実質的に収集できない場合や、時間と手間が多大にかかる場合があるため、簡単に試すことが難しく、現場への導入が進まない要因となっています。

課題

認識したい人の行動が、例えば、歩いている・走っている・止まっているといった単純な日常の基本動作だけであれば、映像データを収集することは比較的容易なため、映像データのどの部分に認識したい動作が写っているかの情報を付与して学習することで、認識することは可能です。一方で、例えば家の周りをきょろきょろと見渡しながら行ったり来たりするような不審行動などは、複数の動作が組み合わされて構成され、パターンも多様に存在する複雑な行動となり、その映像データを大量に収集することは難しく、現実的に認識することができませんでした。

開発した技術

今回、富士通研究所とFRDCは、大量の映像での学習が不要で、複数の動作が組み合わさった複雑な行動を認識できる「行動分析技術 Actlyzer」を開発しました。本技術の特長は以下の通りです。

複雑な行動を構成する基本動作を高精度に認識
複雑な行動を構成する要素となる約100種類の基本動作を独自に定義し、この全ての基本動作をディープラーニングにより認識できる技術を開発しました。本技術では、あらかじめ大量の映像データから認識したい基本動作を学習することで、約100種類の基本動作を平均90%以上の精度で認識できます。これにより、歩いている・走っているという基本動作のほか、例えば、首を右に回す、首を左に回す、顔を上に傾ける、顔を下に傾けるなどの細かい基本動作においても、それぞれ高精度に認識できます。
基本動作の組み合わせから複雑な人の行動を容易に認識
基本動作の組み合わせや順番、発生場所、行動の対象などを指定することで、不審行動のような複雑な行動を認識できる技術を開発しました。本技術により、簡単な設定で様々な行動を認識することができ、またパラメーター変更などによりすぐに認識精度を調整することができます。

例えば、扉の前にいる、座る、鍵穴を見る、鍵穴に手をあてる、というように基本動作の組み合わせとその発生場所、および行動の対象を指定することで不審行動として認識できるようになります。さらに、首を左右に回してあたりを見回すなどの条件の追加や、各行動の継続時間の指定により、認識の精度を調整することが可能となります。

図1 不審行動とみなす基本動作の組み合わせ例

効果

屋内や屋外で撮影された21種類の映像データを使って、検出したい8種の不審行動（家の様子を伺う、凶器を振り回す、など）を認識する実験を行ったところ、全ての不審行動が認識できることを確認しました。この8種の不審行動を検出するための基本動作の組み合わせのルール作りは1日で作成できたため、お客様は1日の評価実験だけで本技術の現場への適用可否が判断できます。

なお、本技術は、不審行動に限らず、店舗での来店客の購買行動の分析、店員の応対動作の確認、製造現場での作業時間測定や作業手順の確認など、様々な業種・業務において映像から人の行動を認識し、業務品質の向上や効率化にも活用できます（図2）。