世界初、顔データまで含めたコミュニケーション解析用データセットを公開

2019-02-062021-05-14

次世代AI研究開発の加速とコミュニケーション研究の促進に寄与

2019-2-6　国立研究開発法人新エネルギー・産業技術総合開発機構,学校法人東京電機大学

NEDOと東京電機大学は、グループコミュニケーション時の人の表情などの映像や音声、各種センサーによる体の動きなどのデータセット（コーパス）を作成し、大学や企業の研究機関向けに2月7日より提供を開始します。実験協力者の同意を得ることで、コミュニケーション行動の分析で重要な要素となる表情や視線などの顔データまで取り込めたほか、発話や行動のアノテーションを付与したことで、次世代人工知能（AI）システムの設計に利用可能な世界初のグループコミュニケーションコーパスとなります。

本コーパスの活用により、人のコミュニケーション行動をより総合的に解析することが可能となるため、人と人との円滑なコミュニケ―ションを支援する次世代AIの研究開発の加速のほか、人のコミュニケーション能力向上のための研究促進が期待されます。

また東京電機大学は、より多くのコーパスの継続的な収集と、それによるコミュニケーション研究の推進を目的に、全国の研究機関から同一のデータ収集規格のもとで分散データを収集・公開するためのコンソーシアムを2月1日に設立しました。

図1　公開するコーパスのシーン例

1．概要

国立研究開発法人　新エネルギー・産業技術総合開発機構（NEDO）は、2015年度に「次世代人工知能・ロボット中核技術開発プロジェクト」を立ち上げ、場面に合わせて柔軟に対応する人工知能（AI）や、ロボットが円滑に作業するためのセンサーやアクチュエーションなどの要素技術開発を進めています。2017年度には「次世代人工知能技術の社会実装に関するグローバル研究開発」の先導研究テーマの一つとして、学校法人東京電機大学とともに、次世代AIの深層学習のための大量データを収集・整理し、時系列分析技術の確立とデータへの注釈付け（アノテーション）の半自動化を目指したプロジェクト※に取り組んでいます。

本プロジェクトにおいて、東京電機大学は、カメラやセンサーを用いて学生の行動を詳細に把握することで、行動とコミュニケーションスキルとの因果関係を科学的に抽出し、コミュニケーションスキル向上に役立てるための基本技術の確立を目指した研究を行っています。その成果の一つとして、学生の行動とコミュニケーションスキルをひも付け、双方の因果関係を体系化することに成功しています。（図2）

そして今回、NEDOと東京電機大学はグループコミュニケーション時の人の表情などの映像や音声、各種センサーによる体の動きなどのデータセット（コーパス）を作成し、大学や企業の研究機関向けに2月7日より提供を開始します。このコーパスには、グループディスカッションにおける発言や顔の表情、腕の上がり・下がり具合などのジェスチャー、視線など、豊富なデータを収録しています。実験協力者の同意を得ることで、コミュニケーション行動の分析で重要な要素となる表情や視線などの顔データまで取り込めたほか、発話や行動のアノテーションを付与したことで、次世代AIシステムの設計に利用可能な世界初のグループコミュニケーションコーパスとなります。

本コーパスの活用により、コミュニケーション行動をより総合的に解析することが可能となるため、人と人との円滑なコミュニケ―ションを支援する次世代AIの研究開発の加速のほか、人のコミュニケーション能力向上のための研究促進が期待されます。

図2　学生の行動とコミュニケーションスキルの間の科学的な因果関係

2．提供開始するコーパスの詳細

今回、東京電機大学の学生（2年生）6人による議論2セッション、社会人6人による議論2セッションの合計100分のグループディスカッションに関するコーパスをDVDに収録し、提供します。従来のコーパスは、個人情報保護の観点から個人の顔データを含めることが不可能でしたが、今回、実験協力者の同意を得ることで、その課題を解決しました。

各ディスカッションには、個人の振る舞いを正面から観察するためのカメラを3台、ディスカッションの様子を俯瞰するカメラを1台、360度のパノラマ画像を撮影するカメラを1台、着座位置・顔の向きを見るためのカメラを天井に1台配置して撮影したほか、ヘッドセットマイクで音声も収録しています。複数のカメラで同時撮影したデータにより、多方向からのコミュニケーション観察が可能です。また、音声は個人ごとに収録しているため参加者個々の発言を選択して分析できます。さらに、加速度・角速度センサーを参加者の頭部、胸部、両腕部の計4カ所に装着し、体の動きや姿勢などのデータも収録しています。

コーパスには発言、ジェスチャー、視線などの行動に対してのラベル付けがされているため、会話分析にも利用可能です。加えて、機械学習を用いた行動認識システムの学習データとしても活用できます。

3．グループコミュニケーション研究コンソーシアム

コミュニケーション行動の研究を進めるには、本プロジェクトの取り組みを継承して、より多くのコーパスを継続的に収集し、比較検討することが重要です。

そのため、東京電機大学は、全国の研究機関から同一のデータ収集規格のもとで分散データを収集・公開することを目的としたコンソーシアムを2月1日に設立しました。現在、東京電機大学のほか、国立大学法人東京農工大学、学校法人湘南工科大学、国立大学法人豊橋技術科学大学など全国10大学以上の研究者が賛同しており、今後もほかの研究教育機関からの参画を呼び掛ける方針です。