2022-07-29 東京大学国際高等研究所ニューロインテリジェンス国際研究機構
１． 発表者：
田中 剛平 （東京大学 国際高等研究所ニューロインテリジェンス国際研究機構(WPI-IRCN) 特任准教授／東京大学 次世代知能科学研究センター 特任准教授）
松森 唯益 （株式会社豊田中央研究所 数理工学研究領域 研究員）
吉田 広顕 （株式会社豊田中央研究所 数理工学研究領域 主任研究員）
合原 一幸 （東京大学特別教授／東京大学名誉教授／東京大学 次世代知能科学研究センター 特任教授／東京大学 国際高等研究所ニューロインテリジェンス国際研究機構(WPI-IRCN) 副機構長）
２． 発表ポイント：
◆ 人工ニューラルネットワークの一種であるリザバーコンピューティングモデルにニューロン特性のばらつきを導入することにより、マルチスケールシステムに関する時系列予測性能を改善できることを示した。
◆ モデル学習の結果、目標時系列データの各時間スケールに適合する一部のニューロン群が選択的に機能するようになることを示した。
◆ 脳・神経系や大気・海洋系などの世の中に実在する様々なマルチスケールシステムに関する時系列予測技術のひとつとして期待される。
３．発表概要：
時系列予測とは、時間とともに変動するデータの将来を予測することで、天気予報や電力需給予測などに幅広く応用されています。しかし、脳・神経系や大気・海洋系など、複数の時間的・空間的スケールを含むマルチスケールシステム（注1）を対象とした効率的な機械学習ベースの予測手法は、いまだ発展途上です。最近注目を集めている、高速学習を可能とするリザバーコンピューティング（注2）においては、同一のニューロン群を用いる従来モデルでは時間スケールの分布が限定され、異なる時間スケールに同時に対応することが困難でした。そこで、東京大学 国際高等研究所ニューロインテリジェンス国際研究機構(WPI-IRCN)の田中剛平特任准教授と合原一幸東京大学特別教授、および株式会社豊田中央研究所 数理工学研究領域の松森唯益研究員と吉田広顕主任研究員は、リザバーコンピューティングモデルに用いるニューロン群に意図的に特性ばらつきを与えることで、マルチスケールシステムに関する時系列予測性能が向上することを示しました。
本研究成果は、2022年7月28日に米国物理学会の「Physical Review Research」（オンライン版）に掲載されました。
本研究の一部は、豊田中央研究所と東京大学 次世代知能科学研究センターとの社会連携研究部門『モビリティ社会知能デザイン』および内閣府／科学技術振興機構 ムーンショット型研究開発事業 JPMJMS2021の助成を受け実施されました。
４．発表内容：
背 景
実世界には異なる時間的・空間的スケールをもつ複数の部分系が相互作用するマルチスケールシステムが少なくありません。たとえば、生体系における細胞と臓器、気象系における大気と海洋、材料系における分子と結晶などは、それぞれ異なる時空間スケールの状態変動を示しながらも互いに影響し合います。このようなマルチスケールシステムから観測される時系列データは複数の異なる時間スケールを含み、既存の機械学習ベースの時系列予測手法で解析するには限界があります。最近深層学習を補完する新規の手法として注目を集めている、学習の高速性・簡便性が特長であるリザバーコンピューティング手法でも、同一のニューロン群を用いる従来モデルでは時間スケールの範囲が限定的なため、多様なマルチスケールダイナミクスを一つのモデルで表現することは困難でした。
内 容
多様な時間スケールの変動を生成できる機械学習モデルを実現するため、リザバーコンピューティングモデルのニューロン群に意図的に特性ばらつきを与えました（図1）。つまり、不均一なニューロン群を用いることでリザバーの構成要素に多様性を持たせました。まず、モデル解析によって、ニューロン群の不均一性を高めることでモデルの時間スケール分布の範囲が広がることを明らかにしました（図2）。次に、速い部分系と遅い部分系から成る4つのマルチスケールシステムから人工的に時系列データを生成し、提案モデルを用いて予測タスクを行いました。速い部分系のみから全体系の予測を行う1ステップ先予測タスクにおいては、提案モデルは従来モデルに比べて予測精度を改善できることを数値実験により示しました。また、長期予測タスクにおいては、提案モデルは従来モデルよりも長期期間の予測が可能であることを示しました（図3）。したがって、ニューロンの特性ばらつきが、人工ニューラルネットワークの時系列予測性能の向上に役立つことが例証されました。
効 果
提案したリザバーコンピューティングモデルでは、各ニューロンがもつリークレート（注3）と呼ばれるパラメータを確率的に分布させることで、ニューロン群に不均一性を導入しました。本研究では簡単のため対数正規分布を仮定しましたが、他の任意の確率分布を適用することが可能で、さまざまな時間スケール分布をもつモデルが実現可能です。今後、脳神経信号や気候変動予測といったマルチスケールシステムの実データを用いて、提案手法の有効性をさらに検証していくとともに、豊田中央研究所と東京大学の社会連携研究部門では気候変動解析への応用を検討していく予定です。
提案手法で導入した人工ニューロンの特性ばらつきは、実際の神経細胞の多様性から着想を得たものであり、人工ニューラルネットワークモデルに神経科学的知見を取り込むことの有用性を示唆しています。また、実際の脳における神経細胞の多様性の意味を考える上でも、有用な情報を提供することが期待されます。
５．発表雑誌：
雑誌名：「Physical Review Research」（7月28日、オンライン版）
論文タイトル： Reservoir computing with diverse timescales for prediction of multiscale dynamics
著者：Gouhei Tanaka, Tadayoshi Matsumori, Hiroaki Yoshida, Kazuyuki Aihara
DOI番号：10.1103/PhysRevResearch.4.L032014
６．問い合わせ先：
東京大学 国際高等研究所ニューロインテリジェンス国際研究機構（WPI-IRCN）
特任准教授 田中 剛平（たなか ごうへい）
株式会社豊田中央研究所 数理工学研究領域
主任研究員 吉田 広顕 (よしだ ひろあき)
東京大学特別教授／東京大学名誉教授
東京大学 国際高等研究所ニューロインテリジェンス国際研究機構（WPI-IRCN）
副機構長 合原 一幸（あいはら かずゆき）
株式会社豊田中央研究所 総合企画・推進部 広報室
７．用語解説
（注1）マルチスケールシステム
異なる空間的・時間的スケールをもつ部分系が互いに相互作用して構成される全体系のこと。こうした系の複雑現象を理解するためのマルチスケールモデリングは、物理学や工学をはじめとする多くの分野で研究されている。
（注2）リザバーコンピューティング
時系列情報処理に適したリカレントニューラルネットワークモデルの学習手法の一種。人工知能研究において、深層学習を補完する新しいニューラルネットワーク学習手法として、近年注目を集めている。出力部につながる結合重みのみを学習アルゴリズムで最適化するので、学習が高速に行える。
（注3）リークレート
各ニューロンの状態更新の速さを制御するパラメータ。
８．添付資料：
図1 提案するリザバーコンピューティングモデル。リザバー内のニューロンのリークレートはある確率分布にしたがってランダムに与える。学習は通常のモデルと同様で、出力結合重みWoutのみを調整する。
図2 リークレートの下限値を減少させてニューロンの不均一度を増加させると、モデルの時定数分布が広がり、より多様な時間スケールに対応できるようになる。
図3 提案モデルによる長期予測の例。カオス性をもつシステムから生成した時系列データを対象としているので長期予測は原理的に困難であるが、黄色の点線で示す時刻まで、遅いダイナミクス（青実線）の予測は成功している。
