時系列データのAI利用を加速させる自動ラベル付け技術を開発

2019-05-102021-06-10

スマートフォンや設備機器による人や機械の見守り機能への適用が期待

2019-05-10　株式会社富士通研究所,熊本大学

株式会社富士通研究所（注1）（以下、富士通研究所）と国立大学法人熊本大学（注2）（以下、熊本大学）は、加速度センサーやジャイロセンサーなどの時系列データに対して、AIを適用する上で必要な教師データを簡単に作成できる技術を開発しました。

センサーから得られる時系列データには時々刻々変化する数値データしか含まれず、AIに学習させるための教師データを作るためには、手動で「いつ」「何を」したかといったラベルを数値の変化に応じて細かくデータに付与していく必要がありました。そのため、工数が膨大となり、時系列データのAI活用が進んでいないという課題があります。

今回開発した技術により、複数動作を含むような長い区間ごとに、その区間における主要な動作と判断された1つのラベルを手動で付与していくだけで、それぞれの動作ごとに適切なラベルが付与された高精度な教師データを自動で作成することが可能になります。これにより、工数を大幅に削減できるため、時系列データのAI利用を加速し、転倒検知や運動機能チェック、機械異常検知などの機能をスマートフォンや各種機器にも手軽に搭載できることが期待されます。

開発の背景

近年、IoTなどの進化により、様々なセンサーから多くの時系列データが得られるようになっています。例えば、加速度センサーで観測したデータの特徴から、人やモノの動作の意味をAIが判断する機能を開発することで、スマートフォンや各種機器に人や機械の見守りといった高度な機能が搭載されることが期待されます。このように時系列データにAIを適用するには、AIが学習を行うための教師データを作成する必要があります。

図1. 時系列データを用いたAIによる見守りの例

課題

センサーから得られる時系列データは、それぞれの瞬間での値が数値で記録されているだけなので、「いつ」（区間）、「何を」（ラベル）したかを付与してデータに意味づけを行い、AIが学習するための教師データを作成する必要があります。例えば、ランニングの際の加速度センサーのデータでは、走っている状態、歩いている状態、止まっている状態などが混在しており、これらのデータをAIに学習させるには，それぞれのデータを区間に切り分けて、「走っている」「歩いている」「止まっている」といったラベルを付与した教師データを作成する必要がありました。

従来、このような教師データを作成するには、時系列データを測定している最中にビデオで振るまいを録画しておき、秒単位で変化する数値に対してどの振るまいをしているのか照らし合わせた上で、人手でラベルを付与するのが一般的でした。この作業は大きな負担と時間がかかるため、時系列データのAIへの適用が進まず、ラベル付与作業の手間を削減する自動化技術が求められていました。

開発した技術

今回、富士通研究所と熊本大学は、複数の動作を含む場合でも、主に「何を」しているかを表すラベルを長区間（例えば1時間）につき1つ入力するだけで、時系列データのAI利用を可能とする高精度な教師データを自動で作成する技術を開発しました。開発した技術の特長は以下のとおりです。

適切な区間抽出時系列データの中で、同じ動作が継続している時の特徴と動作が変化する時の特徴を学習し、時系列データから同じ特徴を持つ動作の時間帯を適切に自動抽出（注3）することが可能です。
高精度なラベル付与今回、長区間（例えば1時間）ごとのデータに対して、大半が走っている場合には「走っている」という大雑把なラベルを1つ付与しておきます。これらのラベルを予測できるようにディープニューラルネットワークを学習させたあと、この学習済のディープニューラルネットワークを使って時系列データを読み込ませ、結果として出てきた推定ラベルから、時系列データのどの区間が最も予測に寄与したかを計算します。その寄与度が高い時間帯をラベル候補として集計していくことで、高度な予測が可能な教師データを作成できます。

図2. 開発技術の全体像

効果

工場における研磨などの作業を模した動作からなる加速度センサーの時系列データに対して、ラベルを付与する実験を実施したところ、92%の時間帯で正しくラベル付けができたことを確認しました。これは、人手でラベルを細かく付与したデータを教師データとした時と同等の高精度な結果であることが認められます。

本技術により、時系列データからAI用の教師データを容易に作成できるため、センサーがとらえた特徴をAIが判断するような機能の開発が進むことが期待されます。また、本技術は時系列データの数値の特徴だけから判断を行い、センサーの種類には依存しないため、例えば温度センサーや脈波センサーなどにも適用が可能です。