ドローンが要救助者の位置を検出

ドローンが耳を澄まして要救助者の位置を検出

～災害発生時の迅速な救助につながる技術を開発～

平成２９年１２月７日
東京工業大学
熊本大学
早稲田大学
国際レスキューシステム研究機構
科学技術振興機構（ＪＳＴ）
内閣府政策統括官（科学技術・イノベーション担当）

ポイント

ドローンのようなロボットによる人命救助はカメラなど視覚的な方法が主
集音方法を工夫して雑音を減らし、瓦礫の下の人の声などを検出
迅速かつ効率的な人命救助に活用できる全天候型システムを開発
暗くても、うるさくても、見えない場所でも、音を検出可

内閣府総合科学技術・イノベーション会議が主導する革新的研究開発推進プログラム（ＩｍＰＡＣＴ）タフ・ロボティクス・チャレンジ（プログラム・マネージャー：田所諭）の一環として、東京工業大学の中臺（なかだい）一博　特任教授、熊本大学の公文誠　准教授、早稲田大学の奥乃博　教授、鈴木太郎　助教らの研究グループは、ドローン自体の騒音や風などの雑音を抑え、要救助者の声などを検出して、迅速な人命救助を支援できるシステムを世界で初めて開発した。

このシステムは、３つの技術要素（ＨＡＲＫ^注１）を応用したマイクロホンアレイ技術^注２）によるドローンや風の騒音下での音源検出の実現、音源の三次元位置推定・地図表示技術開発によるわかりやすいユーザインタフェースの構築、ケーブル１本で接続可能な全天候型マイクロホンアレイの開発）が組み合わさることで構築されている。これまで災害現場では静かに聞き耳を立て要救助者の居場所を探り当てていた。このシステムにより、人が瓦礫の中にいて見つけにくい場合や、夜間、暗所などカメラが使えない場所でも、要救助者を発見できることが期待される。

＜田所諭　ＩｍＰＡＣＴプログラム・マネージャーのコメント＞

ＩｍＰＡＣＴタフ・ロボティクス・チャレンジは、災害の予防・緊急対応・復旧、人命救助、人道貢献のためのロボットに必要不可欠な、「タフで、へこたれない」さまざまな技術を創り出し、防災における社会的イノベーションとともに、新事業創出による産業的イノベーションを興すことを目的とし、プロジェクト研究開発を推進しています。

災害現場での要救助者発見には音声情報が重要な役割を果たしますが、実際には周囲の騒音や機材の音によって、助けを求める声を聞くことは大変困難です。倒壊家屋の人命捜索においては、全ての発生音を停止させ、静かにして声を聞き取る「サイレントタイム」が実施されています。特に有人ヘリやドローンでは、プロペラや風による騒音が大きく、地上から呼ぶ人の声を聞くことは、これまでは非常に困難でした。

本研究は、全天候型マイクロホンアレイと、ロバスト音声信号処理技術により、音源の三次元位置推定、地図表示を合わせた、大きな非連続イノベーションです。本技術をドローンに搭載すれば、地上から呼ぶ人の声や、条件が良ければ瓦礫内や屋内からの声をも聞き取り、声を発する人の場所を三次元的に特定することが可能です。今後、ドローンはもとよりさまざまな救助資機材にこの技術が搭載されることにより、要救助者発見につながる音声情報の収集が可能になり、大規模地震災害や水害などでの人命救助実績につながると期待されます。

＜研究成果＞

研究グループは、ドローンの騒音下でも、要救助者の音声等を検出して、迅速な人命発見につなげることができるシステムを世界で初めて開発した

図１　構築したマイクロホンアレイ

マイクを１６個搭載、ケーブル１本で接続可能

図２　マイクロホンアレイを搭載したドローン

このシステムは、大きく３点の技術要素からなる。一点目は、“ロボットの耳”を作ることを目指した「ロボット聴覚」^注３）研究の成果としてオープンソース化されているソフトウェアＨＡＲＫ（HRI-JP Audition for Robots with Kyoto University）（図３）を応用したマイクロホンアレイ技術である。これにより、ドローンの騒音下でも音源の検出が可能になった。二点目は、三次元音源位置推定、および地図表示技術の開発で、これにより目に見えない音源を操作者にもわかりやすく可視化できるインタフェースを構築できるようになった。三点目は、ドローンへの設置を容易にするために、ケーブル１本でまとめて接続できる１６個のマイクロホンからなる全天候型マイクロホンアレイを開発。これにより雨天の要救助者捜索が可能になる。

ロボット聴覚のオープンソースソフトウェアＨＡＲＫ
マイクロホンアレイを用いた音源定位・分離技術を提供

ＨＡＲＫのＧＵＩ
プログラミング環境

図３　ソフトウェアＨＡＲＫ

災害が起きた場合、一般的には３日（７２時間）以内に救助しなければ生存確率が大きく下がってしまうと言われており、迅速な要救助者捜索技術の確立が喫緊の問題である。

これまでドローンを使った要救助者捜索技術は、そのほとんどがカメラやそれに似たデバイスを用いたもので、人が瓦礫の中にいて見つけにくい場合や、夜間や暗所などカメラが使えない状況では利用できず、捜索の大きな壁になっていた。本技術は“要救助者が発する音”を検出することから、このような問題を緩和できる可能性がある。近い将来、災害地での要救助者発見にドローンが利用できるようになり、レスキュータスクの有望なツールとなることが期待できる。

図４　瓦礫（土管）の下の要救助者をその声から発見している様子
右上地図の青丸が検出された音源位置を表す

＜背景＞

ロボット聴覚は、２０００年に奥乃　教授、中臺　特任教授が中心となって提唱し、世界に向けて発信した日本発の研究領域である。それまでのロボットは、人が口元にマイクを装着しないと人の音声を検出、認識することはできなかった。こうした状況に対して、ロボットは人間と同様、自分自身の耳で離れた音源の音を聞き取るべきだという考えの下、“ロボットの耳”を構築するための研究が進められている。この研究領域は、信号処理、ロボティクス、人工知能と多分野にまたがる学際的研究のため参入障壁が高く、世界的にも認知が遅れていた。

提唱後、奥乃　教授と中臺　特任教授らが中心となり、積極的に国内外の学会を中心にセッションを開催。オープンソースソフトウェアを公開して、講習会やハッカソンなどのイベントを行うなど啓発活動を続けた。その結果、２０１４年には、ロボットに関する最大の研究コミュニティであるＩＥＥＥＲｏｂｏｔｉｃｓａｎｄＡｕｔｏｍａｔｉｏｎＳｏｃｉｅｔｙ（ＲＡＳ）が「ロボット聴覚」を研究分野として正式にキーワード登録した。

本研究は、人と同様に、音がどこから到来するのかを推定する音源定位技術、到来方向の音を抽出する音源分離技術、分離した音を認識する雑音にロバスト（頑健）な音声認識技術の３つが柱であり、これらを実環境・実時間で動作できる技術を追究してきた。研究グループはこれまでに、聖徳太子のように複数の人が同時に話をしてもそれを聞き分ける技術（同時発話認識技術）を開発し、１１人の話者による同時発話料理注文デモに成功。また、複数の回答者が同時に回答しても対応可能なクイズ番組の司会者ロボットなどを作製してきた。

＜研究の経緯＞

従来のロボット聴覚研究では、屋内環境で人と会話するロボットを対象にして、“ロボットの耳”を構築する研究がなされてきた。今回の研究では、屋内に留まらず屋外環境での利用を想定し、より実用的な技術につなげることを目指した。

本技術は、内閣府が主導するＩｍＰＡＣＴタフ・ロボティクス・チャレンジ（ＴＲＣ）^注４）（田所諭　ＰＭ）の研究課題として推進している極限音響研究の成果である。用いているマイクロホンアレイ技術は、（株）ホンダ・リサーチ・インスティチュート・ジャパンが研究開発を行い、オープンソース化されているロボット聴覚ソフトウェアＨＡＲＫをベースにしている。

ＩｍＰＡＣＴＴＲＣプログラムでは、研究課題として早稲田大学の鈴木太郎　助教らが高性能ＧＰＳ研究を推進しており、その成果である高精度ポイントクラウド（点群）を地図データとして提供。これを用い、極限音響研究を推進している東京工業大学の中臺一博　特任教授、熊本大学の公文誠　准教授、早稲田大学の奥乃博　教授らの研究グループが中心となってロボット聴覚の開発を行っている。

＜今後の展開＞

研究グループは今後、実環境に近いレベルで実証実験を続けることにより、より使いやすく頑健なシステムの構築を目指す。そのために、インテリジェントセンサとしてパッケージ化し、さまざまなドローンに接続できるシステムを検討していく。また、音源の検出だけではなく音源の種類の聞き分けを行うことにより要救助者に関係のある音源だけを識別する機能も追加したい。このように、災害地での捜索活動に使用できるレベルへと技術を深化させることによって、「ドローン聴覚」技術を確立していく。

＜用語解説＞

注１）ＨＡＲＫ: Honda Research Institute Japan Audition for Robots with Kyoto Universityの略。（株）ホンダ・リサーチ・インスティチュート・ジャパン（ＨＲＩ－ＪＰ）、京都大学等が開発したマイクロホンアレイを用いたロボット聴覚のオープンソースソフトウェア。Ｈａｒｋは、ｌｉｓｔｅｎを意味する中世英語である。
注２）マイクロホンアレイ技術: 複数のマイクロホンから構成されるマイクロホンアレイデバイスを用いて、騒音下でも音の方向を推定したり、特定の音の分離抽出を行ったりする技術。
注３）ロボット聴覚: ロボットが自分自身の耳で周りの環境から音を聞き取ること。日本発の研究領域。
注４）ＩｍＰＡＣＴタフ・ロボティクス・チャレンジ（Tough Robotics Challenge(TRC)）: 内閣府が主導する革新的開発推進プログラムにて田所諭　プログラム・マネージャーが推進する研究開発プログラム。