危険な場所に近づくことなく安全で簡単に補修対象部分のサイズを計測、インフラ点検の省力化・自動化を実現し、効率的なインフラ保全に貢献
2021-11-22 株式会社東芝
概要
ズームレンズによるズームアップやオートフォーカスで撮影した異なる条件の単眼カメラの画像のみから、実スケールの3次元計測ができる世界初のAI技術を開発しました。本AIにより、インフラ点検などにおいて、高所や斜面など危険で点検が困難な場所に近づくことなく、離れた場所から単眼カメラで撮影した数枚の写真を用いて簡単に補修対象部分のサイズを計測することが可能となります。
従来、単眼カメラのみでは相対値しか得られないため、絶対値を得られるジャイロセンサーやサイズに関する基礎情報が必要でしたが、本AIは、単眼カメラの多視点画像から求めた相対的な奥行き情報に加えて、撮影画像に含まれるボケ情報を組み合わせることで、単眼カメラのみで絶対値を計測する技術です。国内のインフラ設備の平均年齢が35年を超える中、本AIは優先度をつけ、過不足のない適切な補修を実現する効率的な保全計画の策定に貢献します。当社はインフラ点検の省力化・自動化に向けて、図1に示すようなロボット統合管理・点検画像分析技術を開発しており、今回の開発技術はサイズ計測を強化するものとなっています。
当社は本AIの詳細を、オンラインで開催されるThe British Machine Vision Conference 2021(BMVC2021)で11月22日に発表します。
図1： 当社のロボット統合管理・点検画像分析技術における位置づけ
開発の背景
社会インフラの長期的な安定稼働のため、インフラ保全の重要性が高まっています。特に国内では、高度経済成長期に整備された道路、橋、トンネルなどの老朽化が急速に進んでいることに加え、作業員の高齢化や人手不足といった問題を抱えており、安全で効率的なインフラ保全が求められています。インフラ保全の効率化には、優先度を付けたメリハリのある保全計画が必要です。優先度の決定には補修対象部分のサイズの計測が有効ですが、高所や斜面などの危険な場所では目視による計測が困難であり、課題となっています。人が近づくことなく、離れた場所から撮影した写真のみでサイズを計測することができれば、インフラ設備の点検を大きく効率化することができます。一方、現状のカメラや画像認識AI技術では、遠距離からの撮影によるサイズの計測は困難です。例えば、スマートフォンにはジャイロセンサーを組み合わせた3次元再構成技術（以下、スマートフォンのサイズ計測技術）が実装されていますが、レンズが小さく、離れた場所からの撮影においては誤差が大きくなります。レンズ収差によるボケ形状の違いを学習して奥行きを求める技術もありますが、サイズの計測が学習時の撮影距離の範囲に限定され、屋外での点検のような撮影距離の固定化が難しい場面では適用が難しいといった課題がありました。
本技術の特長
そこで当社は、高所や斜面など点検が困難な場所でも離れた場所から単眼カメラで撮影した数枚の写真を用いて簡単に補修対象部分のサイズを計測できるAI技術を開発しました（図2）。
本AIは、従来必要としてきたジャイロセンサーやサイズに関する基準情報を必要とせず、事前に学習した撮影距離以外でも実スケールの3次元計測が可能な世界初の技術です。
本AIの特徴は、いくつかの異なる位置で撮影した画像（多視点画像）から求めた相対的な奥行き情報に加えて、撮影画像に含まれるボケ情報を組み合わせることで、単眼カメラのみでサイズの絶対値を計測できる点です。多視点画像から求められる奥行き情報は相対値であるため、従来は、絶対値を与えるジャイロセンサーや絶対値に関する情報を別途与える必要がありました。また、ボケ情報からの大きさ計測は焦点距離というカメラパラメータが求められ、従来は事前学習が必要でした。
今般、当社は、多視点画像から得られる奥行き情報と撮影画像のボケ情報を入力として、スケール情報と焦点距離を未知パラメータとする最適化問題を解くことで、撮影画像のみで大きさの絶対値が得られることを見出しました（図2）。当社は、本AIをひび割れ計測に適用したところ、スマートフォンのサイズ計測技術では誤差が大きく適用が困難な7m先のひび割れのサイズを高精度に計測できることを確認しました（図3）。また屋外の11箇所で5～7m先の対象物のサイズを計測したところ、レンズを固定した理想条件においてサイズ誤差が2.5%であったのに対して、ズームレンズを使ったより難しい条件でもサイズ誤差が3.8%に抑えられていることを確認しました（図4）。この精度については、公益社団法人日本コンクリート工学会の定めるコンクリートのひび割れ補修指針に基づいた数値シミュレーション(ひび割れは画像上で正確に検出できると仮定)により、高精度に補修の必要性を判別できることを確認しました（図5）。さらに、2mm以下の細かいひびのサイズの絶対値の計測（図6）、および、従来は困難だった高所壁面のひび割れについても、妥当な計測結果が得られることを確認しました（図7）。
図2： 開発技術の概要
図3： ひび割れ計測に適用
図4： 屋外11箇所における定量評価
図5： コンクリートのひび割れ補修指針と開発技術の精度シミュレーション
図6： 細かいひび割れに適用
図7： 高所壁面のひび割れ計測に適用
今後の展望
今般開発したAIは、インフラ点検だけでなく、製造や物流、医療など、カメラを使用してサイズ計測する様々な場面に応用することができます。今後は、当社は、様々なカメラやレンズを用いて実証実験を進めるとともに計算処理の高速化を図り、早期の実用化を目指して研究開発を進めてまいります。
