自動運転が直面する「多様な状況」の設定を自動探索
2021-04-12 国立情報学研究所
情報・システム研究機構 国立情報学研究所（NII、所長：喜連川 優、東京都千代田区）のアーキテクチャ科学研究系准教授 石川 冬樹（いしかわ・ふゆき）らの研究チームは、科学技術振興機構（JST、理事長：濵口 道成、東京都千代田区）の戦略的創造研究推進事業 ERATO蓮尾メタ数理システムデザインプロジェクト（*1）（ERATO MMSD、研究総括：NIIアーキテクチャ科学研究系准教授 蓮尾 一郎）のもと、自動運転システムにおいて自動車の多様な振る舞いをテストできるシミュレーション設定を自動で見つける技術を開発しました。
本手法では、進化計算と呼ばれる最適化技術を用いてシミュレーションの試行を繰り返し、他車の配置などに応じて、大きな加速やブレーキ、ハンドル操作などの特徴的な自車の振る舞いが起きるようなシミュレーション設定を見つけ出すことができます。
本研究成果は、ソフトウェアテストについてのフラッグシップ国際会議ICST 2021（*2）の産業応用トラックで2021年4月12日（ブラジル時間）に発表されます。
＜図＞提案手法によるテストシミュレーション設定の生成例
背景
自動運転機能や運転支援機能に対する社会の期待は高まっており、特定の状況では運転手が注意を払わなくてもよいレベル3と呼ばれる自動運転機能を備えた車種も現れようとしています。一方で現在取り組まれている自動運転の実用化は、高速道路の渋滞時や固定のルートなどに限定されたものとなっています。市街地など膨大な状況変化が想定される環境での自動運転の実用化には、さらなる安全性・信頼性の向上が求められています。
自動運転における重要な機能の一つは、他車や歩行者の周辺状況などを踏まえ、自車が進行するべき向きや速度を更新し続け定めていく経路計画の機能です。この機能においては、他車や歩行者にぶつからないという安全性はもちろんのこと、加減速や曲がり方の度合い、走行レーン遵守など複数の観点を踏まえて経路を決めていく必要があります。
そのため、シミュレーターを用いて自動車の様々な振る舞いを検査することが盛んに行われています。シミュレーターを用いた自動運転機能のテストでは、「右折時に対向車が来る」など、考えられるシナリオを洗い出すことが広く議論されています。例えば、同じ右折時でも、減速なく右折できる場合や、長時間減速・停止する場合など、道路状況に応じて異なる振る舞いがありえます。そのため、自動運転車を社会に送り出す際には、自動運転機能がとりうる様々な振る舞いを、それぞれしっかりと検査する必要があります。しかし、各走行のシナリオについて、他車の配置などのシミュレーション設定を変えてたくさんのテストを実施しても、ほとんどの状況では問題なく、いたって通常の自動走行が起き、「やむなく長時間の減速・停止を行う」といった、検査したい特定の振る舞いはなかなか起きません。さらには、「強いアクセルと大きなハンドル操作が同時に起きる」といった複合的な振る舞いも必要に応じてありえますが、そのような振る舞いを意図的に引き起こすシミュレーション設定を見つけ出すのは非常に困難でした。
研究手法・成果
本研究では、急加速や急ブレーキ、大きなハンドル操作など、自車の特徴的な運転の振る舞いに対して、それらが長時間起きるようなシミュレーション設定を自動探索するテスト生成技術の開発に取り組みました。進化計算と呼ばれる最適化技術を用いることで、シミュレーションの試行を繰り返し、特徴的な運転の振る舞いがより長期間起きるようにシミュレーション設定を調節していきます。これにより、他車の配置などに応じて特徴的な振る舞いが起きるようなシミュレーション設定を見つけ出すことができます。
また、「やむなく長時間の減速・停止を行う」といった特徴的な振る舞いは、必ずしも衝突直前のような危険な状況ばかりではなく、安全な通常走行中でも起きる可能性があります。提案技術では、通常の安全性が高い走行においても、特徴的な振る舞いが起きる状況を調べられるようになっています。さらには、「強いアクセルと大きなハンドル操作が同時に起きる」、あるいは「大きな加速の後に大きく減速する」というような、通常の走行と大きく異なる特徴的な二つの振る舞いの組み合わせについても、意図的に引き起こすようシミュレーション設定を探索することもできます。
本研究のテスト生成技術は、マツダ株式会社から提供された経路計画プログラム（*3）に対して適用し、実証しました。今回開発した技術により、ほとんどの状況において、ランダムシミュレーションではなかなか起きないような、特徴的な振る舞いを生成することに成功しました。例えば、信号がない交差点での右折において、向かいから来る車と右から来る車のタイミングにより、大きく減速すると同時に大きくハンドルを切るといった振る舞いや、大きな減速後、大きな加速を行う振る舞いが起きるシミュレーション設定を狙って生成することができました。これまでなら人間が設計することは非常に困難なケースでも、特定の振る舞いの組み合わせを狙ってシミュレーション設定を見つけ出せることが実証できました。
今後の展望
本研究を実施したERATO MMSDプロジェクトではこれまで、衝突などの危険な状況が発生するシミュレーションシナリオを探索・検出する技術（*4）や、検出した衝突に対して要因を説明する技術（*5）、検出した衝突を防ぐように振る舞いを修正する技術（*6）にも取り組んできました。今回の研究は、これらの問題点を探す・直すテスト技術に加え、「多様な状況」を検査することで、安全性に対する確信度を高めるテスト技術に取り組んだものです。従来のソフトウェアプログラムに対して追求されてきたように、「問題をあぶり出すテスト」と「多様な状況を検査するテスト」の双方を、包括的に自動運転システムに対して実現したと言えます。 2020年後半には、自動運転システムに対するテスト生成ツールのコンテストが行われました（2021年5月に実施されるSBSTワークショップ（*7）に併設）。同プロジェクトではこのコンテストに対しFrenetic（*8）というツールを開発して提出し、Freneticは、失敗事例の生成レートと多様さの点において優れた成績を残しました。上述のようにプロジェクトが取り組んできた包括的な研究の経験がコンテストでも発揮されたと言えます。
同プロジェクトが取り組んできた技術は、安全性や「良い」運転の基準の決め方など、各自動車会社のニーズや適用環境に合わせて広く利用できる技術となっています。例えば安全性評価に関する特定の基準として、各シナリオで自動運転車の挙動が満たすべき責務を定めたRSS（Responsibility-Sensitive Safety）の枠組み（インテル社等によるもの）に技術を適合・準拠させることも可能です。今後は、国際的な標準化動向や各自動車会社のニーズを踏まえて、安全性の評価観点や適用環境に応じたカスタマイズを通して技術を具体化し、広く展開していきたいと考えています。
石川 冬樹准教授からのコメント：
「ERATO蓮尾メタ数理システムデザインプロジェクトでは、マツダ株式会社から提供された研究用の経路計画プログラムに対して多くの取り組みを行ってきました。その中のテスト・デバッグ技術に関する研究では、従来のソフトウェアプログラムに対する技術を発展・適合させることで、本ニュースリリースの技術を含め、役割の異なる一連の技術をまとめ上げることができました。これらの技術の特徴は、「欲しいテスト」や「欲しい修正処置」といったニーズに対応する解を探索することです。今後は、最新の標準化動向や、自動運転技術の適用先によって異なるニーズを踏まえ、開発した技術を大きく展開・実証していきたいと考えています。」
研究プロジェクトについて
本研究は科学技術振興機構 戦略的創造研究推進事業 ERATO蓮尾メタ数理システムデザインプロジェクト（JPMJER1603）の一環で行われました。本研究では、マツダ株式会社から提供された経路計画プログラムを用いています。
論文タイトルと著者
タイトル：Targeting Patterns of Driving Characteristics in Testing Autonomous Driving Systems
著者：Paolo Arcaini, Xiao-Yi Zhang, Fuyuki Ishikawa
発表会議：IEEE International Conference on Software Testing, Verification and Validation (ICST 2021 Industry Track)
発表日：021年4月12日（木）口頭発表予定
（*1）ERATO蓮尾メタ数理システムデザインプロジェクト：国立研究開発法人 科学技術振興機構（JST）の「戦略的創造研究推進事業ERATO」に採択されている研究プロジェクトで、Society 5.0の大きな柱となるCPSの品質保証手法の学術的研究を推進している。特に、CPSの典型例の一つとして注目される自動運転システムを重点応用対象として、その信頼性保証を支えるモデリング手法・形式検証手法・テスト手法、さらにこれらを包括する実用的な V&V 技術の研究開発に取り組んでいる。このような大きなチャレンジでは、ソフトウェア・制御・AI といった多様な学術分野の協働が必要となるため、学術分野融合の基礎となる数理的（メタ）理論も重視して研究を推進する。略称はERATO MMSD。プロジェクト詳細はhttps://www.jst.go.jp/erato/hasuo/ja/参照。
（*2）ICST 2021 : IEEE International Conference on Software Testing, Verification and Validation 2021。COREと呼ばれる計算機科学系の国際会議ランキングにてAランク。
（*3）本研究で考案したモデルは研究評価用のプロトタイプであり、特に、その品質は最終的な製品の品質には何ら関係ありません。
（*4）Alessandro Calò, Paolo Arcaini, Shaukat Ali, Florian Hauer, Fuyuki Ishikawa, Generating Avoidable Collision Scenarios for Testing Autonomous Driving Systems, The 13th IEEE International Conference on Software Testing, Verification and Validation (ICST 2020 Industry Track), pp.375-386, March 2020 2020年ニュースリリースを参照： https://www.nii.ac.jp/news/release/2020/0323.html
（*5）Xiao-Yi Zhang, Paolo Arcaini, Fuyuki Ishikawa, Kun Liu, Investigating the Configurations of an Industrial Path Planner in Terms of Collision Avoidance, The 31st International Symposium on Software Reliability Engineering (ISSRE 2020, Research Track – Practical Experience Reports), pp.301-312, October 2020
（*6）Alessandro Calò, Paolo Arcaini, Shaukat Ali, Florian Hauer, Fuyuki Ishikawa, Simultaneously Searching and Solving Multiple Avoidable Collisions for Testing Autonomous Driving Systems, The Genetic and Evolutionary Computation Conference (GECCO 2020), pp.1055–1063, July 2020
（*7）The Search-Based Software Testing（SBST）ワークショップ：https://sbst21.github.io/0
（*8）Frenetic：車線保持機能に対するテストシナリオとして、多様な道路構造を生成するツール。
