病院や介護施設でカメラを設置せずきめ細かな見守りを実現
2022-07-06 富士通株式会社
当社は、一般的なミリ波センサーで取得される粒度の粗い点群データから人の姿勢を高精度に推定できる新技術を開発しました。
本技術は、対象者の一連の動作における点群データの時系列情報を融合処理することで、粒度の粗い点群データからでも姿勢推定に必要な粒度が細かい点群データへの拡張を可能とし、そこに高精度に姿勢を推定できる独自のAIモデルを組み合わせて、転倒などの確実な検知とプライバシーの配慮の両立を実現しています。
さらに、人の複雑な行動を認識する当社独自のAI技術「行動分析技術 Actlyzer（アクトライザー）」（注1）との連携により、病院や介護施設などのプライバシー性の高い空間でもカメラを設置せずに転倒前後の行動を詳細に分析できます。
当社は、本技術について、病院や介護施設との実証実験を実施することでさらなる効果検証と精度向上を重ね、2023年度中のサービス化を目指します。
背景
近年、病院や介護施設では、患者や高齢者の安全を守り、かつ看護師や介護者の業務負担を低減するため、センサーを利用した見守り技術が注目される中、特にミリ波センサーを用いた見守り技術は、個人を特定する情報の取得リスクが低く安価に導入できることから期待が高まっています。しかし、一般に普及している安価なミリ波センサーは粒度の粗い点群データしか得られないため患者や高齢者の転倒を高精度に検知できないほか、転倒前後の行動の詳細な分析も困難でした。
開発した技術
今回、当社は、国内電波法に準拠する79GHz帯の一般的なミリ波センサーを用いて人の詳細な行動分析を実現する新技術を開発しました。
なお、前身となる技術を用いて、鳥取県鳥取市様が富士通Japan株式会社（注2）とともに市営住宅においてひとり暮らしの高齢者を見守る実証実験を2022年2月に実施し、プライバシーに配慮した住民の状況監視における本技術の有効性を確認しました。また、2022年6月に、当社は神奈川県川崎市様とともに、福祉製品やサービスの開発、改良を支援する施設「Kawasaki Welfare Technology Lab」（通称：ウェルテック）内の模擬環境ラボにて、起床をはじめとする様々な動作時の機器の反応や通知内容などを検証し、その結果を踏まえて2022年8月以降に実際の高齢者施設において実証実験を予定しています。
- 姿勢推定に適した入力データを生成する点群データ拡張技術
1回あたりの電波の照射で取得できる点群データの粒度が粗い一般的なミリ波センサーでも高精度な推定を実現するため、人の姿勢が時系列の点群データとして表現できることに着目しました。複数回電波を照射によって取得できる大量の点群データから、人の姿勢を推定するのに適した点群データを選定することで、粒度が細かい点群データへの拡張を可能する点群データ拡張技術を開発しました。 - 姿勢推定を高度化する大規模データセットと姿勢推定AIモデル
姿勢推定に充分な粒度に拡張した点群データをもとに、さらに高精度に姿勢を推定するため、点群データと人の関節点の3次元座標情報を対応させた大規模データセットを構築しました。データセットは、約140人の人物による、約50種の異なるシーンでの行動データを取得して構成し、このデータセットに基づいて高精度な姿勢推定AIモデルを開発しました。 - 「行動分析技術 Actlyzer」との連携による複雑かつ詳細な行動分析
本技術に加えて、約100種の基本動作データを組み合わせて人の複雑な行動を分析できる「行動分析技術 Actlyzer」を連携させることで、ベッドから立ち上がった時の転倒なのか歩行時の転倒なのか、といった前後の行動を含む詳細な分析が可能となり、看護師や介護者が目視で見守りを実施する負担や緊急時の対応の遅れを減らすことができます。
図. 開発した技術の全体イメージ
イメージ動画
商標について
記載されている製品名などの固有名詞は、各社の商標または登録商標です。
注釈
注1 行動分析技術 Actlyzer：
本技術は、当社のAI画像解析ソリューション「FUJITSU Technical Computing Solution GREENAGES Citywide Surveillance」の行動検知として商品化されています。
注2 富士通Japan株式会社：
本社 東京都港区、代表取締役社長 砂田敬之。
本件に関するお問い合わせ
研究本部 コンバージングテクノロジー研究所
