通常のカメラを用いた物体表層における光伝搬の可視化に成功

可変リングライト撮像による物体表層構造の可視化手法の開発

2018/09/07　国立情報学研究所,京都大学大学院情報学研究科

概要

京都大学大学院情報学研究科・知能情報学専攻西野恒教授は、国立情報学研究所コンテンツ科学研究系佐藤いまり教授らのグループと共同で、通常のカメラを可視光下で用いて、物体表層における光の伝搬過程を可視化する手法を世界に先駆けて開発しました。

本手法の特徴は、従来法のように光の伝搬を時間分解するのではなく、物体表面の外観そのものを、新たに導出した光源の照射方法を用いて、観察する光の伝搬距離を（仮想的に）制御することによって、その伝搬過程を復元することにあります。具体的には、リングライト（円環状の光源）の半径を変えつつ物体表面を撮像し、それぞれの半径に対応する画像同士の差分を取ることにより、光の伝搬距離がそれらの半径の差に限定された画像列を生成できることを示しました。また、このようにして得られた画像列が、物体表層内で光が拡散・散乱しつつ伝搬する様子を捉えていることを、果物や人間の皮膚を含めた様々な自然物体を用いて実証しました。さらに、これらの復元された伝搬画像から、物体表層内の異なる深さにおける色を特定できることも示しました。

本成果は、簡便に実装できることから、実用的な物体表層の解析手段として役立つと考えられます。とりわけ、表層構造解析などを通した危険物等の非破壊検査のみならず、人間の皮膚や内臓表面などの状態や病変を容易に可視化して解析できるため、医療や美容に幅広く応用することが期待できます。本成果は、2018年9月8日より開催されるコンピュータビジョンの国際会議「European Conference on Computer Vision」において発表されます。また本手法は、現在特許申請中です。

物体はそれぞれ、(上段)ピンク色のプラスチックに埋め込まれた白い樹脂製の星型、(中段)ゆで卵、(下段) 手の甲の皮膚。(画像提供:西野恒(京都大学)・佐藤いまり(国立情報学研究所)

1.背景

光は現実世界の物体などに作用し、反射、屈折、散乱などの光学的過程を繰り返しながら伝搬します。その様子を画像としてとらえることができれば、光が豊かな情景を作り出すメカニズムを解析することができます。さらに、その伝搬する様子から、光が作用している物の形状や物理的特性などを推定することができ、視覚情報を用いてより精緻に現実世界を理解することに役立ちます。

しかし、光は非常に高速で伝搬するため、実際に伝搬する様を直接時間分解（一定時間ごとに現象をとらえること）して撮像しようとすると、ピコ秒（ピコは１兆分の1）以下の時間分解能を有する特殊なカメラ（time-of-flight camera）を用いて同じ光景を繰り返し撮像するなどの工夫が必要となります。また、そのような手法は、シーン内での光の伝搬や物体間の光の相互作用（相互反射等）などの大局的な光の伝搬の様子を捉えることはできるものの、物体表層内などで繰り広げられる、よりミクロなスケールでの光の伝搬を撮像することには適用することができません。

なぜなら、物体表層内においては、物体表面から入った光は、物体表層をなす媒体に含まれる粒子等に繰り返しぶつかり、そのたびに吸収と散乱を繰り返します。そして、再び表面から射出する光は色と方向性を持ち、その伝搬過程における散乱頻度が物体間の相互反射等とは桁違いの短い距離でおこります。そのため、直接時間分解する撮像方法では、圧倒的に時間分解能が足りないのです。こうしたことから、物体表層における光の伝搬を撮像・可視化する方法は、現在まで有効な手法が知られていませんでした。

しかし、物体の表層構造を簡易に視覚化する手法が実現すれば、人間の皮膚や内蔵表面の状態や病変を容易に解析できるため、医療や美容等に非常に役立つと考えられます。さらには、質感操作など、一般的な物体の外観の解析や操作を行う際の基盤技術となることも期待されます。

2.研究手法・成果

京都大学と国立情報学研究所による本共同研究グループは、特殊なカメラを必要とせず、通常の可視光光源とカメラを用いて、物体表層内における光の拡散や散乱による伝搬過程を可視化する画像撮像法を、世界に先駆けて開発しました。

本手法の特徴は、光の伝搬を時間分解するのではなく、その定常状態、すなわち物体表面の外観そのものについて、新たに導出した光源の照射方法を用いて、光の伝搬距離を（仮想的に）制御することにより、その伝搬過程を復元することにあります。

具体的には、物体表層における光の伝搬距離がその光の物体表面における入射箇所と観測箇所の間の表面距離より短くなりえないことに着目し、物体表面各点をその点を中心とした半径の異なる円環状に仮想的に照らしながら半径を順次変えつつ、すなわち可変半径のリングライト下において物体表面を撮像した画像列をまず得ます。これらの可変リングライト画像列の、それぞれの半径に対応する画像同士の差分を取ることにより物体表面各点において観測される光の伝搬距離を対応する二つの半径間に限った画像列、すなわち光の伝搬距離がある特定の距離区間に限定された画像列を生成できることを示しました。（図１～３）

また、このようにして得られた画像列が、物体表層内で光が拡散・散乱しつつ伝搬する様子を捉えていることを、果物や人間の皮膚を含めた様々な自然物体を用いて実証しました。さらに、これらの復元された伝搬画像から物体表層内の異なる深さにおける色の特定をおこなえることも示し、色の異なる層により構成された実物体の各深度における色を同定できることを実証しました。

3.波及効果、今後の予定

光の伝搬過程が可視化できることは、直接物体表層の構造の推定に非常に有効ですが、物体表層内における光の伝搬過程や色は物体表面を見ただけではわかりません。本手法は、物体の内部を切らずに、上記の方法によって表面を通常のカメラと光源で撮像するだけで、光の伝搬過程や色を復元できる画期的なものです。

また、物体そのものに触れる必要がなく、X線や高速カメラ等の特殊な装置や光源も必要としないため、物体表層の外観や構造の実用的な解析手段として、簡便に実装することができます。とりわけ、その特徴から、危険物や不良品を同定するための非破壊検査のみならず、人間の皮膚や内臓表面などの可視化による医療や美容分野における応用も考えられます。

特に後者に関しては、非接触で病変や状態把握を実現できることに加え、特殊な光学機器を必要としないために更なる簡易化と小型化も可能となることから、その応用範囲の広がりが期待されます。さらには、物体表層内の見え方の解析やその構造の復元を通し、やわらかなものを固く見せるなどの表面の外観や質感の操作といった、あらたな視覚情報提示のための基盤技術となることが期待できます。

4.研究プロジェクトについて

本研究は、筆頭発明者であり論文の筆頭著者である西野恒教授が2018年3月まで在籍していた米国ドレクセル大学において、国立情報学研究所の佐藤いまり教授らのグループとともに遂行し、2018年4月に京都大学に移ってからも続けてきたものです。

論文タイトルと著者

タイトル：

Variable Ring Light Imaging: Capturing Transient Subsurface Scattering with An Ordinary Camera (可変リングライトカメラ：表層光伝搬の通常カメラでの撮像)

著者：

Ko Nishino, Art Subpa-asa, Yuta Asano, Mihoko Shimano and Imari Sato

掲載誌：

Proceedings of 15th European Conference on Computer Vision 2018

DOI：

0.1007/978-3-030-01246-5

お問い合わせ先

西野恒（にしの・こう）
京都大学大学院情報学研究科　知能情報学専攻　教授

参考画像

図 1. 物体表層における光の伝搬距離(li)は、その光の物体表面における入射箇所と観測箇所の間の表面距離(|Π(li)|)より短くなりえない。(画像提供:西野恒(京都大学)・佐藤いまり(国立情報学研究所)

図 2. 物体表面各点について、その点を中心とした半径(図1で示した表面距離(|Π(li)|)に等しい) の円環状の光(リングライト:右図)で照らして撮像する。(画像提供:西野恒(京都大学)・佐藤いまり(国立情報学研究所)

図3. (上段)物体表面上の各点ごとに一点ずつリングライトで照らして撮像した画像列群。(中段)上段のリングライトの半径毎に、物体表面全点について、リングライトの中心の画素を合成したリングライト画像列。(下段)それぞれの半径に対応するリングライト画像同士の差分を取ることによって生成した画像列。物体表面各点において観測される光の伝搬距離を、対応する二つの半径間に限定した画像列、すなわち光の伝搬距離がある特定の距離区間に限定された画像列。(左)通常の投光照明によって撮像した参考画像。(画像提供:西野恒(京都大学)・佐藤いまり(国立情報学研究所)