多変数データを用いた非線形因果探索技術の開発～科学的発見やビジネス課題解決に期待～

2022-04-26 理化学研究所

理化学研究所（理研）革新知能統合研究センター目的指向基盤技術研究グループ因果推論チームの清水昌平チームリーダー、理研AIP-富士通連携センター^[1] (研究当時)の上村健人客員研究員（研究当時）らの共同研究グループは、多変数データから非線形な因果関係を推定する新技術を開発しました。

本研究成果は、現実の問題が持つ非線形性を前提として、多変数データから因果関係を見つけ出すことで、科学的発見やビジネス課題解決に貢献すると期待できます。

今回、共同研究グループは、識別性^[2]が保証された非線形因果モデルのうち、自由度が最も高いモデルの一つであるポスト非線形因果モデル（PNLモデル）^[3]に基づき、ニューラルネットワーク^[4]を用いて因果構造グラフを推定する技術を開発しました。

本研究は、統計的因果推論のトップ研究者を中心として開催された初めての国際会議である『1^st Conference on Causal Learning and Reasoning (CLeaR 2022)』（4月11日開催：日本時間4月12日）にて発表しました。

提案技術における多変数間の因果関係の推定の流れ

背景

昨今、さまざまな現象の間の順序を表す「因果」を明らかにする試みが盛んに行われています。例えば、病気に対する治療と症状改善の因果関係や企業の経営施策と業績の因果関係を明らかにすることで、効果的な治療方針の策定、適切な経営施策の選択が期待されます。

一般的に因果関係を実験的に解明することは、時に倫理的・コスト的観点から実現困難である場合が多いため、過去の観測データからその背後にある因果関係を推定する試みである「因果探索」の研究が進められています。しかし、従来の因果探索技術では、推定対象の因果関係を線形と想定する制約があり、複雑な現実の問題への適用において障壁となっていました。

共同研究グループは2017年度よりこの課題解決に取り組んでおり、2020年に非線形関係を前提に2変数間の因果関係を推定する手法を提案しました^注1）。この手法では信号処理^[5]や深層学習（ディープラーニング）^[6]の知見を取り入れることで、小規模な実問題において良好な推定精度を実現しています。しかしその一方で、より大規模な問題へ適用のためには2変数ではなく、より多数の変数間の因果関係を明らかにする必要があり、さらなる技術開発が求められていました。

注1）K. Uemura and S. Shimizu. Estimation of post-nonlinear causal models using autoencoding structure. ICASSP 2020, pages 3312-3316, 2020.

研究手法と成果

因果探索では、推定対象の因果関係を「構造方程式モデル」と呼ばれる未知のパラメータを持つ数式を用いて表現します。観測データからこのパラメータを推定し、データに最も合致する変数間の因果構造、すなわち原因と結果のつながりを探すことで、因果関係を推定します。

共同研究グループがこれまでに提案してきた手法「AbPNL（Autoencoder-based causal discovery for PNL model）」では、因果探索の分野において、識別性が保証された構造方程式モデルの中で表現力が最も高いポスト非線形モデル（PNLモデル）を用いて、2変数間の因果関係を推定していました。AbPNLでは、ニューラルネットワークを用いて変数間の非線形な関係を表現し、PNLモデルの持つ「復元可能な非線形変換」と「原因変数とノイズ変数の統計的独立性」という二つの特徴を満たすように学習します。与えられた2変数に対して、原因変数と結果変数を入れ替えてそれぞれモデル推定を行うことで、よりデータに合致する方を正しい因果関係と判断します（図1）。

図1 AbPNLにおける2変数PNLモデル推定方法

まず原因変数と結果変数のデータが、それぞれ異なるニューラルネットワークで表現された非線形変換ネットワークで変換される。変換されたデータから計算される推定ノイズ変数が原因変数と統計的に独立であるというモデルの性質を満たすように、これらのネットワークが学習される（独立性評価）。一方で、結果変数に対する非線形変換が復元可能であるというモデルの性質を満たすように、非線形復元ネットワークにて復元された結果変数が元の結果変数に等しいかが評価され（復元性評価）、これも同時に満たすように各ニューラルネットワークが学習される。

共同研究グループは、多変数間の因果関係を推定する新たな技術を開発しました。提案技術では、AbPNLでの2変数モデルの推定を拡張した、多数の原因変数と一つの結果変数を持つPNLモデルの推定を利用します。PNLモデルに基づく因果関係では、因果の順序が「下流」である変数は、より「上流」の変数に影響を及ぼさないという性質があります。この性質に基づき、モデル推定を繰り返しデータに適用することで、与えられた多変数間の因果順序が「下流」である変数を順番に一つずつ推定していきます。全ての変数の因果順序を推定し終えた後に、変数間の因果関係それぞれを取り除いて再度モデル推定を行うことで、冗長な因果関係を削除し、最終的な推定結果を得ます（図2）。

図2 4変数における提案技術における多変数間の因果関係の推定の流れ

各丸は変数を、変数の数字は推定された因果順序をそれぞれ表す。各変数を結果変数と見なした三つの原因変数と一つの結果変数を持つ4パターンのPNLモデルをそれぞれ推定することで、与えられた変数の中で因果順序が最下流であるもの（4）を見つける（図b）。その変数を除外した残りの変数で同様の手順を繰り返すことで、全ての変数に因果順序を付ける（図c-d）。その後、因果順序に従う2変数の因果関係それぞれに対して、それを削除したモデルを再度推定し、データへの適合性を確認することで、冗長な因果関係を削除する（図e）。

本技術を4変数2,000サンプルからなる人工的に設計したデータセット、および現実の機能的磁気共鳴画像法（fMRI）^[7]をシミュレートした10変数1,000サンプルからなるオープンベンチマークデータ^注2）にそれぞれ適用し、評価しました。その結果、線形および非線形の因果関係をランダムに生成した人工データにおいて、従来の表現力の低いモデルを採用した2手法（DirectLiNGAMとRESIT）と比較して、グラフ編集距離^[8]の観点から、非線形性のあるデータで高精度に推定できることを確認しました（図3）。

手法	線形問題	非線形問題
提案技術	0.81	2.16
RESIT	0.24	3.21
DirectLiNGAM	0.21	4.44

図3 人工問題における性能評価結果

上段が提案技術、下2段が従来技術の結果。指標は推定結果と正解とのグラフ編集距離を表し、この値が小さいほど良い性能であることを意味する。線形問題と非線形問題それぞれ100問での平均指標値を表示。提案手法は、特に複雑な非線形関係で比較手法（RESITとDirectLiNGAM）に対して良好な結果を示した。

また、より現実のシステムに近い問題であるfMRIシミュレーションデータにおいて、正解の因果関係により近い推定ができることを確認しました（図4）。

図4 fMRIシミュレーションデータにおける性能評価結果

各丸は変数、点線矢印は正解の因果関係、実線矢印は推定結果をそれぞれ表す。提案技術は比較手法（RESIT とDirectLiNGAM）と比べ、冗長な因果関係および逆向きの因果関係の観点から良好な結果を示した。

注2）S. M. Smith, K. L. Miller, G. Salimi-Khorshidi, M. Webster, C. F. Beckmann, T. E. Nichols, J. D. Ramsey, and M. W. Woolrich. Network modelling methods for FMRI. NeuroImage, 54(2):875-891, 2011.

今後の期待

本研究は、自然現象やビジネス活動の根底にある因果メカニズムについて、仮説検証的な分析ではなく、観察データから全体の因果構造を推定しようとする試みです。自然現象やビジネス活動は、多くの要因が複雑に絡み合って結果がもたらされるものであり、その因果関係を見いだすことができれば、思いもよらない科学的発見や大きなビジネス価値を得られるものと期待できます。

今回の新技術はその端緒となるものであり、今後、実問題を使った検証と改善を進めることで因果探索技術の社会実装を目指します。

補足説明

1.理研AIP-富士通連携センター
理研の産業界との連携センター制度に基づいて、理研AIPと富士通株式会社が2017年4月から2022年3月まで開設していた連携センター。環境の不確実な変化に対しても、的確な未来予測に基づいて人のより良い判断を支援する「想定外を想定するAI技術」の実現を研究テーマとした共同研究を進めた。

2.識別性
構造方程式モデルにおける理論的な性質であり、異なる因果構造から発生したデータは異なる分布となることを表す。識別性のないモデルでは，いかに精度良くモデルを推定したとしても、それが正解の因果構造となる保証が得られないため、識別性のあるモデルを前提とすることが重要となる。

3.ポスト非線形因果モデル（PNLモデル）
因果探索で使われる構造方程式モデルの一つであり、識別性が保証されたモデルの中で表現力が最も高いモデルの一つである。

4.ニューラルネットワーク
脳機能に見られるいくつかのネットワークを計算機上のシミュレーションで表現することを目指した数学モデル。

5.信号処理
音声などに代表される数値データを分析や加工することを目的とした数理技術。代表的な技術としては、音声分離やノイズ除去がある。

6.深層学習（ディープラーニング）
機械学習の計算手法の一つで、多層（狭義には4層以上）のニューラルネットワークのこと。画像や動画、テキスト、音声などの分類・識別問題に用いられている。

7.機能的磁気共鳴画像法（fMRI）
磁気共鳴画像法（MRI）を利用することで、脳活動に伴う血流の変化を計測するための技術。fMRIはfunctional magnetic resonance imagingの略。

8.グラフ編集距離
二つの因果関係を表すグラフにおいて，一方のグラフを何回編集すればもう一方と等しくなるかを表した距離の指標。エッジの削除、挿入をそれぞれ編集1回とカウントする。

共同研究グループ

理化学研究所革新知能統合研究センター
目的指向基盤技術研究グループ因果推論チーム
チームリーダー清水昌平（シミズ・ショウヘイ）
（滋賀大学データサイエンス学部教授）
理研AIP-富士通連携センター（研究当時）
客員研究員（研究当時）上村健人（ウエムラ・ケント）
（現富士通株式会社研究本部人工知能研究所研究員）
客員研究員（研究当時）高木拓也（タカギ・タクヤ）
（現富士通株式会社研究本部人工知能研究所研究員）

株式会社両備システムズセキュリティ事業部
神林貴之（カンバヤシ・タカユキ）

ジャパンシステム株式会社
チーフテクノロジーアドバイザー吉田裕之（ヨシダ・ヒロユキ）

研究支援

本研究は、文部科学省「次世代人工知能技術等研究開発拠点形成事業費補助金」による支援を受けて行われました。

原論文情報

Kento Uemura, Takuya Takagi, Takayuki Kambayashi, Hiroyuki Yoshida, Shohei Shimizu, “A Multivariate Causal Discovery based on Post-Nonlinear Model”, 1st Conference on Causal Learning and Reasoning (CLeaR 2022)