2022-07-22 富士通株式会社
当社は、顔などの情報が写っていない映像からでも人の歩き方（以下、歩容）をもとに人物を高精度に照合できる歩容照合技術を開発しました。
本技術は、人の関節点の座標から姿勢を推定する汎用深層学習モデルと、汎用的に照合可能な空間（注1）への変換により人物を照合しやすくする当社の独自技術を組み合わせることで、カメラ映像における人の映り込む位置の違いなどにより照合精度が低下してしまう課題を解決し、顔などの情報を必要とせずに高精度に人物を照合可能とします。当社事業所で約1,700人を対象（注2）に撮影したカメラ映像から作成した大規模データセットを、学習済みの汎用深層学習モデルを用いて照合した結果、これまでの技術では50％未満の精度でしたが、本技術では約90％の高い精度で人物を照合することができました。
当社は、サステナブルな世界の実現を目指す「Fujitsu Uvance」のもと、豊かで持続可能な社会を実現する「Trusted Society」の取り組みを推進しており、本技術について、人々が安心安全に暮らすことのできる街の実現に貢献するため、迷子や高齢者の捜索など様々な場面で活用できるよう実証に取り組み、2023年度までの実用化を目指します。
背景
近年、AIを活用した映像解析により、カメラ映像から顔や全身などの特徴に基づき特定の人物を効率良く照合する技術開発が進んでいます。中でも、顔や服装といった特徴が視認できないような映像でも、人の歩容の特徴をもとに人物照合可能な技術の活用が期待されていますが、照合時に使用するカメラに映る人のサイズや歩く位置などのデータが学習時と異なると照合精度が低下してしまうという課題がありました。より多くの映像データをモデルに再学習させることでこの課題を改善できますが、カメラ映像に映る人のサイズや歩く位置などのすべての条件を網羅した再学習は困難であり、実用化に向けた大きな障壁となっていました。
開発した技術
今回、当社は、照合時に使用するカメラ映像内の人のサイズや歩く位置などの条件が、学習時の映像データと異なる条件であっても正確に照合を可能にする、汎用的に適用可能な深層学習モデルを開発しました。
本技術は、事前に取得した人物映像から得られる歩容情報の登録時と、新たに用意した人物映像を入力する照合時の2段階で構成されます。
（1）登録時
- 関節点の時系列情報を抽出：
人の複雑な行動を認識する当社のAI技術「行動分析技術 Actlyzer（アクトライザー）」（注3）の姿勢推定技術を用いて、人の関節点の移動における時系列情報を抽出します。 - 関節点情報の変換：
得られた関節点の時系列情報は人のサイズや歩く位置などの条件が様々であることから、それらをサイズや位置によらず汎用的に照合可能な空間に投影して関節点情報を変換します。 - 歩容特徴量抽出：
変換された時系列の関節点情報から、カメラ映像内の人物特有の歩容の情報である歩容特徴量を抽出し、歩容特徴量データベースに登録します。
（2）照合時
- 人物照合：
新たに入力された人物映像に対して、登録時と同様に、汎用的に照合可能な空間に投影して変換された関節点情報から歩容特徴量を抽出します。あらかじめ登録した人物映像の歩容特徴量と、新たに入力された人物映像の歩容特徴量との類似度を比較することで、人物を照合します。
本技術の開発にあたり、当社は、社内外の最先端テクノロジーを自ら実践・体験する事業所「Fujitsu Uvance Kawasaki Tower」（所在地：神奈川県川崎市）において、2021年10月から12月末まで、約1,700人を対象に収集した複数のカメラ映像（ゲート通過、廊下移動など）から作成した大規模なデータセットで開発技術を評価しました。その結果、カメラ映像に映る人のサイズや歩く位置が異なるといった場合、これまでの技術では50％未満の精度でしたが、本技術では約90％の高い精度で人物を照合することができました。
図. 開発した技術による人物照合イメージ
今後について
当社は今後も、人文社会科学とデジタル技術を融合するコンバージングテクノロジーの一つとして、行動科学と映像処理の知見を融合し人々の行動を高精度に分析・予測するヒューマンセンシングの技術開発を進め、人々に安心安全をもたらす街づくりに貢献していきます。
また、本技術を用いて、例えば迷子や高齢者の捜索の際に、過去に保護者や家族がスマートフォンなどで撮影した対象者の歩容が分かる映像をもとに、駅や空港、商業施設、公共機関など様々な場所に設置されたカメラ映像から歩容の類似度が高い人物をAIが高精度に特定するなど、従来は人手で行っていた映像の解析作業を大幅に効率化するために様々な場面での実証に取り組み、2023年度の実用化を目指します。
商標について
記載されている製品名などの固有名詞は、各社の商標または登録商標です。
注釈
注1 汎用的に照合可能な空間：
人の関節点座標について、映像中の人のサイズや位置などの差異による影響を取り除いた、データの特徴が正規化された座標空間。
注2 約1,700人を対象：
「Fujitsu Uvance Kawasaki Tower」の通用口を通過する人を対象。撮影にあたっては、実施内容を事前に掲示した上で、カメラに映りたくない人向けに別の通用口を設けて案内を出すなど、対象者の個人情報やプライバシーにも配慮したうえで実施。
注3 行動分析技術 Actlyzer：
本技術は、AI画像解析ソリューション「FUJITSU Technical Computing Solution GREENAGES Citywide Surveillance（グリーンエイジズ シティワイド サーベイランス）」の行動検知として商品化済み。
本件に関するお問い合わせ
研究本部 コンバージングテクノロジー研究所
