(Lessons of conventional imaging let scientists see around corners)

2019/8/5 アメリカ合衆国ウィスコンシン大学マディソン校

Photo: Advanced camera equipment.

・ ウィスコンシン大学マディソン校とスペイン・サラブサ大学が、見えない場所にある物体のイメージングを可能にする、既存の非視線方向イメージング(non-line-of-sight imaging: NLOS)技術の課題を克服した、「バーチャル・カメラ」技術を実証。
・ 同技術の完成時には、防衛から防災、製造や医療用イメージングまで、様々なアプリケーションでの利用が期待できる。同研究に資金を一部提供している米航空宇宙局(NASA)は、月や火星の隠れた洞穴内部の観察での利用を想定する。
・ NLOS イメージング技術では、レーザー光のパルスの光子が壁等の表面での反射を経て隠れた物体に当たり、その物体表面で反射した散乱光がカメラに接続したセンサーに戻って隠れた物体の 3D イメージをデジタル的に再構築する。
・ NLOS イメージング技術は長らく研究されているが、他による最近の研究では、管理された条件下、小規模な環境での単一物体を使用したイメージ再構築のクオリティーの向上が中心となっている。
・ 新技術は、より複雑な物体環境のイメージ構築を可能にし、現在 NLOS 技術の実用化を阻んでいる、光が反射する壁や隠れた物体の表面の材料の多様性、複数の隠れた物体の明度のばらつき、隠れた物体間での光の複雑な相互反射、より大きな物体イメージの再構築に使用するデータのノイズ量の課題に対処する。
・ 今回、従来的な視線方向(line-of-sight: LOS)イメージングシステムの手法を応用。回折光を波として処理し、システム内を伝搬する光波に数学的な変換を適用することでイメージを構築する、LOS カメラの性能を模倣したイメージングアルゴリズムを開発。あらゆる反射壁をヴァーチャル・カメラに変換し、品質の劣ったデータを使用してもイメージの再構築が可能となる。
・ また、同技術は、隠れた物体で伝搬する光を捉えるビデオカメラのような、バーチャルな投影が可能なイメージングシステムの開発にも応用が可能。隠れた環境の光の移動の動画を同技術で実際に作製し、5~6 回反射する光の可視化に成功。これは、複数の曲がり角の先のイメージングの可能性を示唆すると考える。
・ 隠れた物体の反射光を捉えるセンサーアレイが開発できれば(今回の実証では単一の検出器を使用)、同技術の飛躍的な向上が期待できる。同イメージングシステムは低コスト化と小型化が可能なため、近い将来には実用化できると考える。
・ 本研究は、米国防高等研究計画局(DARPA)の DARPA REVEAL project (HR0011-16-C-0025)、 NASA の NIAC program、米軍科学研究局(AFOSR)の Young Investigator Program (FA9550-15-1- 0208)、EU の Horizon 2020 research and innovation program (project CHAMELEON, grant No 682080) 下、欧州研究会議(ERC)、スペイン財務省(project TIN2016-78753-P)、BBVA Foundation (Leonardo Grant for Researchers and Cultural Creators)が資金を提供。
本研究結果は、知的財産保護の目的として Wisconsin Alumni Research Foundation に開示された。
URL: https://news.wisc.edu/lessons-of-conventional-imaging-let-scientists-see-around-corners/

Nature 掲載論文(アブストラクトのみ:全文は有料)
Non-line-of-sight imaging using phasor-field virtual wave optics
URL: https://www.nature.com/articles/s41586-019-1461-3



Non-line-of-sight imaging allows objects to be observed when partially or fully occluded from direct view, by analysing indirect diffuse reflections off a secondary relay surface. Despite many potential applications existing methods lack practical usability because of limitations including the assumption of single scattering only, ideal diffuse reflectance and lack of occlusions within the hidden scene. By contrast, line-of-sight imaging systems do not impose any assumptions about the imaged scene, despite relying on the mathematically simple processes of linear diffractive wave propagation. Here we show that the problem of non-line-of-sight imaging can also be formulated as one of diffractive wave propagation, by introducing a virtual wave field that we term the phasor field. Non-line-of-sight scenes can be imaged from raw time-of-flight data by applying the mathematical operators that model wave propagation in a conventional line-of-sight imaging system. Our method yields a new class of imaging algorithms that mimic the capabilities of line-of-sight cameras. To demonstrate our technique, we derive three imaging algorithms, modelled after three different line-of-sight systems. These algorithms rely on solving a wave diffraction integral, namely the Rayleigh–Sommerfeld diffraction integral. Fast solutions to Rayleigh–Sommerfeld diffraction and its approximations are readily available, benefiting our method. We demonstrate non-line-of-sight imaging of complex scenes with strong multiple scattering and ambient light, arbitrary materials, large depth range and occlusions. Our method handles these challenging cases without explicitly inverting a light-transport model. We believe that our approach will help to unlock the potential of non-line-of-sight imaging and promote the development of relevant applications not restricted to laboratory conditions.