2020-12-17 理化学研究所
理化学研究所（理研）革新知能統合研究センター医用機械知能チームの鈴木航客員研究員、檜山敦客員研究員と情報システム本部計算工学応用開発ユニットの竹市博臣専任技師らの共同研究グループは、動画像から特徴的な動きを示す対象を自動的に抽出するアルゴリズムを開発し、その数学的性質を解明しました。
本研究成果は、現在画像診断に用いられている動画から、動いたり変形したりする臓器を抽出・強調提示する計算ができることから、画像診断用動画など医用情報のより効果的な可視化に貢献すると期待できます。
今回、共同研究グループは、動画像から特徴的な動きをする対象の場所とその動きを自動的に抽出して可視化するアルゴリズムの数学的性質を解明しました。このアルゴリズムは、流動体や煙のように変形しながら動く対象を効果的に可視化できます。動画像に含まれる一つ一つのフレーム画像から局所的な明るさの変化（ベクトル）を抽出し、ベクトルの位置・方向・大きさを特徴として追跡するシンプルな方法です。数学的性質を解明したことで、動く対象を視認しやすくするだけでなく、人間が視認しやすい動きと実際の動きの違いや、その補正方法の研究に応用できます。
本研究は、科学雑誌『Journal of the Optical Society of America A』（12月1日号）の掲載に先立ち、オンライン版（11月19日付：日本時間11月20日）に掲載されました。
開発したアルゴリズムにより、動画から抽出した対象物の動きの可視化（赤点）
背景
動画像中の物体や環境の見かけの動きを「オプティカルフロー（光流動）」と呼びます。オプティカルフローに関する情報の抽出は、生物が生きていく上でも、あるいはロボットが作業する上でも基礎となる重要な計算です。しかし、この計算は数学的には「不良設定問題[1]」と呼ばれ、動画の情報だけでは問題を解くのに必要な情報の全てが得られないため、そのままでは解くことができません。
コンピュータビジョンの分野では、不良設定問題を解決するために、まず「拘束条件[2]」と呼ばれる仮定を置いて、オプティカルフローを計算する方法が提案されました。しかし、拘束条件を置くと拘束条件を満たすような解しか得られません。また、拘束条件を一般的にするほど精度は落ち、目的に合わせてチューニングを厳しくするほど柔軟性が失われます。
一方、対象の動きを正しく計算できる画像中の特徴を決め、その動きを追跡（トラッキング）して計算する方法も提案されました。しかし、この方法も、特徴が検出できない画像領域の動きに関する情報をどのように抽出したらよいかという問題が残りました。
研究手法と成果
共同研究グループは、まず動画像に含まれる一つ一つのフレーム画像から局所的な明るさの変化（ベクトル）を計算し、ベクトルの位置・方向・大きさを特徴として追跡するシンプルな方法を採用しました。これまでの研究では、追跡する特徴として、1フレームの画像から得られる明るさ・色・形に基づく特徴が用いられていましたが、本手法では、2フレームの画像ペアから得られる明るさの変化を特徴として追跡することにしました。
これまで心理実験によって、本手法により追跡できた動き情報だけを光点の動きとして提示した場合でも、「ベクション[3]」と呼ばれる視覚入力から生じる自己運動知覚が成立し、さまざまな動画でベクションの強さを比較すると、元の動画でベクションが強い場合は動きを抽出した動画でも強く、元の動画でベクションが弱い場合は抽出動画でも弱いことから、抽出動画が元の動画の動きの特徴を反映していることが示されていました。しかし、抽出動画の数学的性質がよく分かっていなかったため、なぜ人間がそのように知覚するのかは分かっていませんでした。
本研究では、アルゴリズムを数式で記述し、アルゴリズムで得られる解と動画を撮影した場面で実際にあった動きとの違い（誤差）を定量的に求めました。その結果、このアルゴリズムから得られる動き（図1のベクトルU）は、方向が画像中のエッジ（画像の明るさが不連続に変化する線領域）に垂直で、大きさがエッジと実際の動き（図1のベクトルV）の角度差（図1の角度θ）を反映したものになることが分かりました。この動きの大きさは、正確には角度差の余弦（コサイン）に比例します。エッジの動きは、エッジと垂直方向に動くときが最も著しくなりますが、このアルゴリズムは、そのような場合に最も大きな（cos（0）=1）動きを提示することで、動き情報の抽出と可視化を行っていることが明らかになりました（図1）。
図1 開発したアルゴリズムが計算する動きの図示
時刻t1におけるエッジ（灰色のグラデーションで示した線領域）が、時刻t2で図のように動く。求めたい実際の動きがGround-truth（破線矢印で示すベクトルV）のとき、このアルゴリズムが出力するのはP-flow（実線矢印で示すベクトルU）で、エッジに対して垂直な方向とベクトルVに角度差の余弦（cos（θ））をかけたものになる。これにより、動きを強調表示できる。
開発したアルゴリズムの適用例を図2に示します。赤点で示した画素においてオプティカルフローを求めることができます。本手法では、動物や煙のように変形しながら動く対象を効果的に可視化できます。そのため、例えば心臓や細胞などの変形の激しい動きを観察するのに適していると考えられます。
図2 開発したアルゴリズムの適用例
赤点は本手法により追跡できたピクセル（画素）。オプティカルフロー（見かけの動き）は、連続したフレームで対応する赤点をつなげたものである。
今後の期待
今回開発したアルゴリズムは、動くエッジだけを検出します。特定の拘束条件を置かないため、どのような動画からでも形態情報と運動情報を分離することができ、学習データも必要としません。そのため、微少のエネルギー・限られた通信で動作するウェアラブルコンピュータに実装すれば、既存の生活環境に手を加えることなく、人間の知覚機能を拡張できます。
例えば、現在画像診断に用いられている動画から、動いたり変形したりする臓器を抽出・強調提示する計算ができます。あるいは、カメラに写った人物や乗り物から、アイデンティティの特定につながる形や色の情報を取り除き、どのように動いたのかという情報（バイオロジカルモーション[4]情報）だけを抽出することが可能になります。
補足説明
1.不良設定問題
数式で記述される問題では、未知数（変数）の数より多くの情報（変数の関係を表す方程式）がなければ、未知数の値（解）を求めることができない。このような問題を不良設定問題と呼ぶ。問題には書かれていない情報を追加しなければ、問題を解いて解を求めることはできない。
2.拘束条件
不良設定問題を解くために追加される変数間の関係を拘束条件と呼ぶ。画像の処理では、小さい領域では一定である、少しずつ変化するなどの拘束条件が置かれることが多いが、実際には、異なる物体の境界など、こうした拘束条件が満たされないことも少なくない。なお、ここで扱うオプティカルフローでは、カーネギーメロン大学の金出武雄教授らが1981年に提案した拘束条件が、現在でも広く用いられている。
3.ベクション
人間の自己身体の運動の知覚では、加速度は内耳で知覚される情報が主要なものだが、速度は視覚情報が大きな比重を占める。視覚情報から知覚される自分の身体の運動の感覚をベクションと呼ぶ。ベクションは、実際に動いているときも、そうでないときも知覚される。例えば、電車の車窓から隣の電車が動き出したのを見たとき、自分が乗っている電車は実際には動いていないのに動き出したように錯覚することがある。ただし、錯覚だけをベクションというのではない。
4.バイオロジカルモーション
人間は、他者が暗闇で身体の動く部分に十数個の光点をつけて歩くなど、動き方の情報だけを見せられた場合でも、それが人間であることだけでなく、男女の区別・大人か子供か・動作の種類・行為者の感情などさまざまな情報を抽出できる。このような知覚現象をバイオロジカルモーションという。他者の動きのような社会的な知覚は人間にとって重要なため、脳内で特異的な情報処理が行われると考えられている。
共同研究グループ
理化学研究所
革新知能統合研究センター 医用機械知能チーム
客員研究員 鈴木 航（すずき わたる）
（国立精神・神経医療研究センター 神経研究所 室長）
客員研究員 檜山 敦（ひやま あつし）
（東京大学 先端科学技術研究センター 講師）
情報システム本部 計算工学応用開発ユニット
専任技師 竹市 博臣（たけいち ひろしげ）
九州大学 芸術工学研究院
デザイン人間科学部門
准教授 妹尾 武治（せのお たけはる）
鹿児島大学 工学部 情報生体システム工学科
助教 山下 和香代（やました わかよ）
国立精神・神経医療研究センター 神経研究所 微細構造研究部
部長 一戸 紀孝（いちのへ のりたか）
研究支援
本研究は、日本学術振興会（JSPS）科学研究費補助金同基盤研究（C）「乳幼児期における日常の視覚環境調査と色知覚メカニズム発達に関する実験的研究（研究代表者：山下和香代）」、同基盤研究（A）「多言語音声知覚における脳内リズムと意味理解（研究代表者：上田和夫）」、同基盤研究（B）「前庭機能の成熟に伴う視覚誘導性自己運動感覚（ベクション）の発達過程の解明（研究代表者：白井述）による支援を受けて行われました。
原論文情報
Wataru Suzuki, Atsushi Hiyama, Noritaka Ichinohe, Wakayo Yamashita, Takeharu Seno, Hiroshige Takeichi, “Visualization by P-flow: gradient- and feature-based optical flow and vector fields extracted from image analysis”, Journal of the Optical Society of America A, 10.1364/JOSAA.398677
発表者
理化学研究所
革新知能統合研究センター 医用機械知能チーム
客員研究員 鈴木 航（すずき わたる）
客員研究員 檜山 敦（ひやま あつし）
情報システム本部 計算工学応用開発ユニット
専任技師 竹市 博臣（たけいち ひろしげ）
報道担当
理化学研究所 広報室 報道担当
