2024-07-18 千葉工業大学,基礎生物学研究所,兵庫県立大学
発表者：
井上 秀一 （千葉工業大学 大学院情報科学研究科（修了済み）/ LINEヤフー株式会社）
信川 創 （千葉工業大学 情報科学部 情報工学科（教授）/ 同大学 数理工学研究センター（非常勤主席研究員）/国立研究開発法人国立精神・神経医療研究センター 精神保健研究所児童・予防精神医学研究部（客員研究員））
西村 治彦 （大和大学 情報学部 情報学科（教授）/ 兵庫県立大学 応用情報科学研究科 （名誉教授））
渡辺 英治 （基礎生物学研究所（准教授）/ 総合研究大学院大学 生命科学研究科 （准教授））
礒川 悌次郎 （兵庫県立大学 大学院 工学研究科（准教授））
井上秀一（千葉工業大学）、信川創（千葉工業大学）、西村治彦（大和大学）、渡辺英治（基礎生物学研究所）、礒川悌次郎（兵庫県立大学）らの研究チームは、次世代型人工知能であるエコーステートネットワーク（Echo State Network: ESN）の性能を大幅に向上させるアーキテクチャとして注目されている「深層エコーステートネットワーク（Deep Echo State Network: DeepESN）」の性能向上の鍵として、階層ごとの多様な時間スケールのダイナミクスの生成が重要な役割を担っていることを明らかにしました。これまで、DeepESNのパラメータ最適化にはベイズ最適化などが用いられてきましたが、どのようなDeepESNのダイナミクスが性能向上に寄与しているのかについての十分な調査は行われていませんでした。研究チームは、DeepESNの各層で生成される挙動の時間スケールについて、関連するパラメータ群を調整することにより、性能との関連を評価しました。その結果、時間履歴に関わるパラメータ群の中で、DeepESNの構成要素であるニューロンの時間履歴項がタスクに対応した最適値を持ち、その設定下において階層間で異なる時間スケールのダイナミクスが発生し、その挙動が階層間で遅延伝搬することにより、長期間DeepESN内に保持されることが明らかとなりました。ESNでは、個々のニューロンが入力タスクに対する過去の入力履歴を基に多様な応答を重ね合わせて所望の信号を生成します。したがって、DeepESNの高い性能は、このような広範な時間スケールの領域に亘る応答によって達成されていると言えます。この研究成果は、DeepESNのパラメータ調整に一定の指針を提供し、学習に大きなリソースを割くことのできないエッジAIのような環境下での学習に大きく貢献すると期待されます。この研究成果は、2024年7月16日に、スイスに本部を置く科学・工学・医学についての出版社であるFrontiers Media SAの査読付き学術雑誌であるFrontiers in Artificial Intelligenceにて発表されます。
キーワード: リザバーコンピューティング、エコーステートネットワーク、深層エコーステートネットワーク、エッジAI
■研究の背景
現在人工知能で主流となっている深層学習と比較して、エコーステートネットワーク（ESN）は学習効率が高いニューラルネットワークであるリザバーコンピューティング（RC）モデルの一種です。近年、深層学習の技術が社会に浸透し、高い消費電力による環境負荷が問題視される中で、RCモデルは注目を集めています。RCモデルはリザバーと呼ばれるシナプス結合重みを訓練しない再帰型ニューラルネットワーク（RNN）を利用し、リザバーから出力への重みのみを調整することが特徴です。これは、ほぼ全てのシナプス結合の重みの調整を前提とした深層学習と大きく異なっています。このESNの特徴によって、重み調整が極めて少なくすむことからタスクの訓練が容易になるほか、リザバーは様々な物理素子で実装可能であるため、低消費電力な物理実装が可能になります。RCはこのような理由で有望な次世代型の人工知能であり、音声認識や株価予測、ネットワークトラフィック制御などへの応用が研究されています。しかしESNを利用した際の予測・分類などのタスクにおける性能は深層学習と比較するとその性能には及ばない場合が多く、ESNの性能向上を達成する新しいアーキテクチャに関する研究が世界中で行われています。
そのようなアーキテクチャの1つとして、深層エコーステートネットワーク（DeepESN）[1][2][3]に注目が集まっています（右図を参照）。DeepESNでは、リザバーを階層化し、信号が伝搬していくような層構造を取ります。そして、全てのリザバーが出力層に結合されます。そしてESNと同様に出力層のシナプス結合の重みの調整によって学習が行われます。このDeepESNはESNと比較して高い性能を持つことが示されていましたが、アーキテクチャが複雑化し、層間の結合重みや各リザバー層のニューロンの減衰率などのハイパーパラメータの増加に伴い、最適化のための学習が必要となります。これまでの代表的な手法としては、ランダムサーチやベイズ最適化といったタスクに対する予測・分類誤差といった性能に基づく最適化手法が多く用いられており、DeepESNの高い性能がどのような機構によって担われているかについて明らかにされていませんでした。この点がなぜ重要であるかというと、この機構の知見があれば、タスクに応じてどのようなネットワーク構造を取れば良いのか、妥当なハイパーパラメータ設定範囲の大まかな予測をつけることができ、学習コストを抑えることができるからです。これはRCモデルの社会実装を進めていくために極めて重要な課題と言えます。
■研究内容
このような中で、本研究ではDeepESNの代表的なハイパーパラメータとして、各リザバー層のスペクトル半径と呼ばれるリザバー内のニューロンの相互作用の程度に関係するシナプス結合重みに関するパラメータと、リザバー層間の結合重み、ニューロンの挙動の速さを決定づける減衰率の3つのパラメータに対して、マッキーグラス時系列と、ローレンツ時系列、レスラー時系列の3種類のカオス時系列（用語説明＊１）に対して、入力された過去の時系列の情報から将来の値を予測するタスクを評価しました。その結果、タスクに応じて最適な減衰率が存在し、さらに、その減衰率の設定下では、リザバー状態が、各層ごとに異なる時間スケールで挙動していることが、マルチスケールエントロピー解析（用語説明＊2）によって明らかとなりました（下図は、ローレンツ時系列の予測タスク下での結果）。このような傾向が生まれる原因として、著者たちはニューロンの減衰率に応じて特定の時間スケールの成分が抽出され、さらにその挙動が、層から層への伝播によって、減衰あるいは増強されることで、層ごとに異なる時間スケールの挙動が生成されていると推測しています。このような多様な時間スケールの挙動を生成する手法としては、ESN内の個別のニューロンの減衰係数を広く分布させる方法が他にも提案されていますが[4]、このDeepESNでは伝播を利用することで共通の減衰率の設定であって多様な時間スケールの挙動が生まれる点が、 DeepESNの特徴と言えます。
さらに著者らは、このような性能とリザバーのダイナミクスの関係性の評価として、均一のニューロンの減衰係数の設定だけでなく、実際の脳の神経活動の伝播経路に見られる感覚入力に近い脳領野から高次の脳領野に向かって神経活動の時間スケールが遅くなる性質を、層が深くなるにつれて減衰係数を低下させることでDeepESNに導入し、この手法と全ての層の減衰係数を一定にした場合と比較しました。その結果、特に時間スケールが広範に分布する時間スケールを含むタスクにおいては、減衰率を徐々に低下させたDeepESNの方が高い性能を示しました。
次に著者らは、各層のリザバー状態の挙動がどのように層を伝播していくかについて、隣接する層間での相互相関解析を実施することで評価を行いました。その結果、右図に示される通り、層間のリザバー状態の挙動が異なる遅れで同期している、すなわち、リザバーの活動状態は、不均一な遅延を持ちながら層間を伝播している、ということが明らかになりました。ESNにおいて高いタスク性能を保持するにはタスクの種類に応じた記憶能力を保持する必要があります。非常に長い時間履歴効果を考慮しなければならないタスクにおいては、特に高い記憶性能が必要となり、この遅延特性は必要とされる記憶性能の確保に寄与できます。なぜなら、DeepESNでは、全層が出力層に結合しているため、遅延で過去に入力された信号が層間に伝播を続けている場合、それが記憶機能の役割を担うからです。
■結論と今後の展望
本研究では、カオス時系列予測タスクに対するDeepESNの性能とダイナミクスの特性の比較からDeepESNの高い性能がどのように生まれるかについて評価を行いました。その結果、DeepESNでは、層間の伝播に伴う多様な時間スケールの挙動の生成と不均一な伝播遅延によって、その高い性能が達成されていることが明らかになりました。性能の最大化のみに着目したこれまでの研究では、このような性能向上の原理の理解は得られません。今回の研究成果は、DeepESNのパラメータ調整に一定の指針を提供し、学習に大きなリソースを割くことのできないエッジAIのような環境下での学習に大きく貢献すると期待されます。今後は、カオス時系列予測のような比較的単純な課題だけでなく、より高度な実応用に近い高次元タスクや確率挙動を多く含有するタスクに対してDeepESNの性能とダイナミクス特性の関係を明らかにしていくことが課題となります。
■用語説明
＊1 カオス時系列: カオスとは、非線形な写像や常微分方程式のような時間的な発展を規定したルールに基づいて生成される不規則な挙動である。カオス時系列は、過去の状態により将来が決まる決定論性と呼ばれる性質があることから、現在までの時系列入力から将来の値を予測するというような時系列予測タスクのベンチマークとして広く利用される。カオス時系列の種類によって周期性の強いものや、不規則性の強いもの、挙動に広い時間スケールの成分を含むものなど多くの異なる特徴を持つカオス時系列が存在する。
＊2 マルチスケールエントロピー解析: 時間スケール毎に、サンプルエントロピーと呼ばれる時系列の不規則性を定量化した値を算出してその時系列の複雑さの程度を定量化する解析方法。特に神経活動や脈波のような生体信号の解析などで広く用いられる。
■引用文献
[1] Deng, L., Yu, D., & Platt, J. (2012, March). Scalable stacking and learning for building deep architectures. In 2012 IEEE International conference on Acoustics, speech and signal processing (ICASSP) (pp. 2133-2136). IEEE.
[2] Gallicchio, C., Micheli, A., & Pedrelli, L. (2017). Deep reservoir computing: A critical experimental analysis. Neurocomputing, 268, 87-99.
[3] Malik, Z. K., Hussain, A., & Wu, Q. J. (2016). Multilayered echo state machine: A novel architecture and algorithm. IEEE Transactions on cybernetics, 47(4), 946-959.
[4] Tanaka, G., Matsumori, T., Yoshida, H., & Aihara, K. (2022). Reservoir computing with diverse timescales for prediction of multiscale dynamics. Physical Review Research, 4(3), L032014.
■著者らの研究グループの関わった解析記事/WEB
・公益社団法人 計測自動制御学会 計測と制御VOL.62. No.10 2023 「特集: 脳・神経系における機能創発の解明を目指した数理モデリングとデータ駆動分析—局所神経回路から大域的全脳レベルまでー」（https://www.sice.jp/pub/journal/mokuji/sice62-10.html）
・健達ネット コラム 【専門家インタビュー】神経ネットワークダイナミクスに関する研究 (https://www.mcsg.co.jp/kentatsu/interview/35623)
・TLG GROUP 大学教授・研究者・専門家・プロフェッショナルへのインタビュー
【脳機能創発の探求！ニューロイメージングと数理モデリングの最新動向】(https://tlg.co.jp/interview-professor-nobukawa/)
■原著論文情報
雑誌名: Frontiers in Artificial Intelligence (公開日: 2024年7月16日)
論文題目: Multi-scale Dynamics by Adjusting Leaking Rate to Enhance Performance of Deep Echo State Networks
著者: Shuichi Inoue, Sou Nobukawa, Haruhiko Nishimura, Eiji Watanabe, Teijiro Isokawa
URL: https://www.frontiersin.org/articles/10.3389/frai.2024.1397915/ (オープンアクセスのためこのサイトから閲覧できます)
■研究費情報
本研究は，科研費 基盤研究C （JP22K12183），科研費 学術変革領域研究（A）（JP20H05921）の支援を受けたものです。
【研究に関するお問い合わせ】
千葉工業大学 情報変革科学部 情報工学科
信川 創 教授
兵庫県立大学大学院 工学研究科 電子情報工学専攻
礒川 悌次郎 准教授
【広報に関するお問い合わせ】
千葉工業大学 入試広報部
基礎生物学研究所 広報室
兵庫県立大学姫路工学キャンパス・総務課
