2024-12-16 産業技術総合研究所
NEDOが進める「人工知能活用による革新的リモート技術開発プロジェクト」（以下、本事業）において、国立大学法人東京大学大学院工学系研究科（東京大学）、国立研究開発法人産業技術総合研究所（産総研）、イームズロボティクス株式会社、株式会社NTTドコモは、リモートでオペレーターが安全かつ迅速に現場の状況把握ができる革新的なドローン運用技術（以下、革新的ドローンリモート技術）を開発しました。
革新的ドローンリモート技術は、危険性・緊急性を有する現場の迅速な状況把握が要求される警備分野や消防・防災分野において、1人のオペレーターが自律分散協調飛行するドローン群の運用による高度な調査活動を可能にします。具体的には、複数台のドローンで撮影した高解像度映像やLiDARセンサーから得られた情報を統合処理することにより、現場の状況を即座にデジタル空間上に再現します。
2024年10月16日～18日および12月4日～6日に福島ロボットテストフィールド（福島県南相馬市・浪江町）において、警備業務を想定したシナリオに沿って本技術を実証し、オペレーターの安全を確保した上で迅速な初動対応の実現に貢献できる見通しを得ました。本事業終了後には、実用化に向けた開発・実証を進めます。これにより、あらゆる場面でドローンを利活用できる社会の実現を目指します。
図1 開発した革新的ドローンリモート技術のイメージ
1．背景
近未来のスマートシティーでは通信網で通信接続された複数台の遠隔ドローンを用いて、自律的またはリモート操作による防災、警備、点検などでの活用が想定されます。現状では防災や警備などの迅速な対応を要する現場でドローンを活用する場合、操縦者が近距離においてドローンからの映像を確認しながら1台のドローンを操縦し、操縦者あるいは補助者がドローンからの映像を見て被災状況の把握を行っていますが、労働力不足のなか高度なドローン運用が可能な多数の専門要員確保が課題となっています。飛行中に得られる映像からAIにより人などの状態を推定し、XRなどで提示された情報から、特に不審者や要救助者の識別が可能となれば、操縦者および補助者の負荷は大幅に軽減でき、安全かつ効果的なドローン運用と効率的な警備や救助活動などが期待できます。
このような背景の下、2021年度から本事業※1の一環として、東京大学、産総研、イームズロボティクス、NTTドコモは、AI・XR活用による空のアバター※2を実現する「革新的ドローンリモート技術」の研究開発に取り組んでいます。2023年度の消防・防災分野における実証実験※3に引き続き、2024年10月および12月には福島ロボットテストフィールド（福島県南相馬市・浪江町）において警備分野における実証実験を行いました。
2．今回の成果
（1）革新的ドローンリモート技術の開発
開発した革新的ドローンリモート技術は、以下の要素技術から構成されています。
1) 複数台のドローンによるフォーメーション飛行、相互衝突回避、対象物上空旋回飛行を可能にする自律分散協調飛行技術※4
【技術のポイント】機体間通信により他機体の衛星利用測位システム（GPS）位置・速度情報を逐次取得し、各機体における目標地点からの引力、他機体との引力、斥力、回転力などの合力を計算し、各機体が自律的に移動制御を行うことで協調的な飛行を実現しています。
2) 広角カメラ、LiDAR※5センサー、環境センサー、920MHz機体間通信機能、LTE/5G通信機能、自律制御用コンピューターなどを搭載したLTE/5G搭載マルチセンサードローン
【技術のポイント】イームズロボティクス製ドローン「UAV-E6106FLMP2」をベースに、マルチセンサー、各種通信機器、自律分散協調飛行アルゴリズムなどを搭載した機体を開発しました。自律分散協調飛行機能に、広角カメラ映像の高圧縮低遅延伝送、3次元カラー点群データの生成と伝送、ROS2システム※6による機体間、機体・基地局間の情報伝達を可能としています。
3) 各ドローンからの高解像度映像を低遅延でクラウドに伝送し、クラウド上で要救助者や不審者を認識する人状態推定AI技術
【技術のポイント】NTTドコモが提供するクラウド（docomo MEC®）上で、ドローン3台全周囲における人の検出、人物行動推定（要救助者、不審者など）のAI処理をリアルタイムに実現する技術を開発しました。
4) ドローンに搭載されたLiDARセンサーと可視カメラ画像による高速な3次元カラー化技術
【技術のポイント】飛行中の複数ドローンから地上をLiDARセンサーでスキャンし、GPS情報を併せて取得した点群をつなぎ合わせることで高精度な3次元の環境モデルを作成します。同時に、カメラからのカラー画像を用いてドローン搭載コンピューター上で点群のカラー化まで処理します。地上対象物の少ない環境、揺れの大きなドローンから安定した3次元カラー点群の生成を実現しています。
5) デジタルツインの環境※7にオペレーターが没入し、全体俯瞰（ふかん）視点、ドローン搭載カメラ視点を切り替えながらXR提示※8される現場の状況を把握可能な遠隔操作インターフェース技術
【技術のポイント】ドローンによる遠隔からの現場状況の把握において、本事業では現場のデジタルツインの環境を用意し、オペレーターがその中にヘッド・マウント・ディスプレーと仮想現実（VR）コントローラで没入することで、XR提示される各種情報（状態推定AIからの結果、環境センサー情報、ドローンの状態など）を俯瞰しながら確認できます。さらに仮想表示されたドローンを選択することでドローン視点（1人称視点）による遠隔操縦が可能なシステムを構築しています。
（2）革新的ドローンリモート技術によるドローン機械警備の実証
今回開発した革新的ドローンリモート技術の機械警備※9への応用を検証するため、2024年10月16日～18日および12月4日～6日に、ALSOK福島株式会社の協力のもと、福島ロボットテストフィールドにおける従来の機械警備を拡張する3台のドローンを活用した警備運用シナリオ（図2①～⑦）に沿って、以下の実証を行いました。
1）自律分散協調飛行技術による複数ドローンの自動巡回警備と相互衝突回避（図2①、②）
2）クラウド上人状態推定AIによる不審者の検出（図2③）
3）複数ドローンによる死角のない不審者上空旋回自動追跡（図2④、⑤）
4）遠隔操作インターフェースからの不審者モニタリング、ドローンの操作（図5）
5）監視センターからの無線指示による警備員の現場への急行（図2⑥）
6）遠隔操作インターフェースからの自動離着陸（図2⑦）
本事業で開発した要素技術の統合実証により、現場へ警備員が駆けつけるまでの間、急行した複数のドローンにより不審者を見失わず追跡するなどの迅速で安全な初動対応が可能であることを確認しました。
図2 ドローン3台を活用した機械警備運用シナリオ
図3 自律分散協調飛行ドローンの外観（左）、遠隔操作インターフェースからの自動離陸（右）
図4 不審者上空旋回自動追跡の様子
図5 人状態推定AIによる不審者検知と全体俯瞰提示（左）、ドローン搭載カメラ視点からの映像（右）
図6 3次元カラー点群データ生成の様子（左）、現場で作成された3次元点群モデル（右）
3．今後の予定
本事業終了後、東京大学、産総研、イームズロボティクス、NTTドコモは、今回実証した革新的ドローンリモート技術によるドローン機械警備への応用に加え、災害現場といった危険性・緊急性を有する現場の状況把握が必要とされる分野での実用化に向けた開発・実証を進めます。これにより、オペレーターの安全を確保した上で、あらゆる場面でドローンを利活用できる社会の実現を目指します。
注釈
- ※1 本事業
- 事業名：人工知能活用による革新的リモート技術開発プロジェクト
事業期間：2021年度～2024年度
委託先：東京大学、産総研
再委託先：イームズロボティクス、NTTドコモ
外部協力先：ALSOK福島
事業概要：人工知能活用による革新的リモート技術開発 https://www.nedo.go.jp/activities/ZZJP_100194.html - ※2 空のアバター
- 「アバター」という言葉は、一般的にデジタルやオンラインの世界でのユーザーの分身や代理を表す言葉として使用されていますが、本事業では複数のプロペラを使って空を飛ぶ小型の航空機であるマルチコプター型ドローンに対して、オペレーターが遠隔からあたかも自分の分身のようにドローンを遠隔操作できる仕組みを開発しており、総じて「空のアバター」と呼んでいます。
- ※3 NEDO「革新的ドローンリモート技術」の研究開発（消防・防災分野への適用例）
- 紹介動画：NEDOドローンリモート「NEDO「革新的ドローンリモート技術」の研究開発」
NEDO「革新的ドローンリモート技術」の研究開発NEDO:ＡＩ・ＸＲ活用による空のアバターを実現する『革新的ドローンリモート技術』の研究開発実施者：東京大学、産総研、イームズロボティクス、NTTドコモwww.youtube.com - ※4 自律分散協調飛行
- 複数の無人機（ドローンなど）が中央の司令塔なしに自律的に判断しつつ、機体間通信を介して相互に連携しながら分散的に飛行する技術です。本事業では、同じ目的地に向かって飛行するフォーメーション飛行、相互衝突回避機能、対象物上空旋回飛行、1人のオペレーターによる複数ドローンの群移動操作などを実現しています。
- ※5 LiDAR
- Light Detection And Rangingの略で、レーザー光を照射して、その反射光の情報をもとに対象物までの距離や対象物の形などを計測する技術です。
（参考）産総研マガジン「話題の〇〇を解説 “LiDAR”とは？」 https://www.aist.go.jp/aist_j/magazine/20220928.html - ※6 ROS2システム
- ROS2（Robot Operating System 2）は、ロボット開発用のオープンソースのプラットフォームで、複数のコンピューターやデバイスがネットワークで接続され、協力してロボットを制御できるように設計されています。本事業では、各ドローン搭載の制御用コンピューター、地上基地局の操作PC間で、ROS2システムによる情報連携を行っています。
- ※7 デジタルツインの環境
- デジタルツインは、現実世界を仮想デジタル空間に再現した「デジタルの双子」を作り、仮想空間で現実の動きや状態をリアルタイムに再現することで、さまざまな分野で効率化やリスク管理を実現する技術です。本事業では、現場の環境をドローン搭載のLiDARとカメラにより高速に3次元化し、デジタルツインの環境として利用する技術を開発しています。
- ※8 XR提示
- XRとはVR（Virtual Reality、仮想現実）やAR（Augmented Reality、拡張現実）、MR（Mixed Reality、複合現実）などの総称です。本事業では、これらの技術を用いて情報や映像を提示することを指します。
- ※9 機械警備
- 「機械警備」とは、人の代わりに機械を使って建物や敷地を守る方法です。機械警備には、センサーやカメラ、警報システム、通信機器などの技術が使われ、建物内外の異常を検知して、警備員や管理者に知らせる仕組みが含まれます。
お問い合わせ
産業技術総合研究所
