2023-10-11 東京大学
発表のポイント
◆磁性体中の電子が持つスピンを用いて大規模並列情報処理を実現する人工ニューラルネットワークの新しい動作原理を発見しました。
◆入力情報が特定の周波数のスピンダイナミクスに保持されることを見出し、新たに周波数フィルタを導入することで、熱的なノイズに強い大規模な時空間並列化を実現しました。
◆超低消費電力なリアルタイムAIハードウェア実現へ向けた基盤技術として、次世代IoT社会の実現に貢献することが期待されます。
磁性体を用いた物理リザバーコンピューティングの概要図
発表概要
東京大学大学院工学系研究科の小林海翔大学院生と求幸年教授は、物理的なシステムを人工ニューラルネットワーク（注１）として用いる物理リザバーコンピューティング（注２）において、熱的なノイズに強い超大規模並列計算を実現可能にする新たな動作原理を発見しました。近年のIoT社会の発展に伴い、時事刻々と変化する大量の入力データを、大規模な計算設備を用いずに高速かつ低消費電力で処理するAIハードウェアの実現が求められています。特に、物理的なシステムに時系列情報処理を担わせる物理リザバーコンピューティングは、新たなAI実装法として高い注目を集めており、中でも磁性材料は高性能物理リザバーの最有力候補の一つと考えられてきました。本研究では、磁性体を用いた物理リザバーには、電子の持つスピンのダイナミクス（注３）を通じて入力情報が入力周波数成分に保持されていることを見出し、周波数フィルタを用いた新しい動作原理を開発しました。これにより、磁性体物理リザバーコンピューティングのデバイス実用化における大きな障壁であった熱ノイズへの脆弱性を解決するとともに、膨大な数の並列計算単位を単一の磁性体に集積する超大規模並列化を数値シミュレーションで実証しました。本成果は、個々の端末でGPU型大規模並列情報処理を行うリアルタイムAIハードウェアの基盤技術として、次世代情報化社会の実現を加速する契機となることが期待されます。
本研究成果は、2023年10月10日（英国夏時間）に英国科学雑誌「Scientific Reports」に掲載されました。また、本研究に関連した特許を出願中です。
発表内容
〈研究の背景〉
IoT社会では、サイバー空間内でネットワークを構成するさまざまなモノからの膨大なデータを駆使することで、産業から日常生活にわたる社会のあらゆる分野で新たな価値を創造します。中でも、近年需要が爆発的に増加しているAI情報処理を、クラウド型計算設備とのやりとりを介さずに、超低消費電力のもと個々の端末でリアルタイムに実行するAIハードウェアは、次世代IoT社会を大きく推進するキーテクノロジーとして期待されています。しかし、従来のノイマン型アーキテクチャ（注４）による実現には集積化限界などのさまざまな障壁があることから、AIハードウェアの実現に適した新しい情報処理方式が求められていました。
そこで特に大きな注目を集めているのが、物理リザバーと呼ばれる人工ニューラルネットワークを用いた情報処理フレームワークである、物理リザバーコンピューティングです。そこでは、処理したい時系列情報を適切な物理信号へと変換し、物理リザバーへ入力します。応答として引き起こされるダイナミクスは、物理リザバー内で入力情報を非線形変換したものと捉えることができるため、その測定結果に簡易な学習プロセスを施すことで、所望の情報処理を実現できます。この情報処理性能は物理リザバーの特性に依存するため、これまでさまざまなシステムのリザバー性能が検討されてきました。特に、磁性体を用いた物理リザバーは複雑なスピンダイナミクスを有するため、汎用性や省電力性、非線形変換性などの観点で他の物理リザバーに対する優位性があると考えられており、理論・実験の両側面から盛んに研究が行われています。しかし、そのデバイス実用化にあたっては、急激な情報散逸を引き起こす熱ノイズへの対策と、効率的な集積化方法の開発という二つの大きな障壁が残されていました。
〈研究の内容〉
以上の課題を踏まえ、本研究では磁性体を用いた物理リザバーコンピューティングにおいて、熱ノイズへの堅牢化と時間・空間両方に関する大規模な並列化を同時に達成する新方式を開発し、典型的な磁性体を用いた数値シミュレーションを通じてその有効性を実証しました。
本成果のポイントは、磁性体物理リザバーを構成するスピンのダイナミクスにおいて、入力情報がどの周波数成分に保持されるかに着目した点です。交流磁場を介して時系列情報を入力し、誘起されたスピンダイナミクスの周波数依存性を精査したところ、入力周波数成分のみが入力情報を保持していることを見出しました。従来の磁性体物理リザバーでは、外部からの熱的なノイズによりスピンのダイナミクスが乱され、時系列処理に必要な入力情報の記憶が急激に散逸してしまう問題がありましたが、スピンダイナミクスの入力周波数成分のみを透過する周波数フィルタを導入することにより、不要な周波数からのノイズが極限まで削減され、熱ノイズ下でも時系列記憶を保持し続けることが可能となります。（図１）
図１：周波数フィルタによる熱ノイズ下での時系列記憶保持
時事刻々と入力が与えられる時系列処理において、過去の入力情報を復元する性能を評価した図。周波数フィルタを用いない従来手法では、絶対零度(T = 0)以外では熱ノイズにより情報が急激に散逸するが（左）、本研究で開発した周波数フィルタの導入により、熱ノイズ下でも長い期間情報を保持できている（右）。
このような周波数フィルタによる情報抽出手法を応用することで、磁性体物理リザバーコンピューティングの周波数に関する並列化を実現しました。処理したい時系列情報が複数あるとき、それぞれを異なる入力周波数を用いて交流磁場へ変換し、重ね合わせとして磁性体物理リザバーへ入力します。このとき、磁性体物理リザバーのスピンダイナミクスでは、各入力情報がそれぞれに割り当てられた入力周波数で独立に処理されます。そこで、周波数フィルタを用いてスピンダイナミクスを分割すると、それぞれの入力情報の計算結果が対応する入力周波数成分から抽出できます。同様に、交流磁場を磁性体物理リザバーの限られた空間領域にのみ印加すると、その領域内のスピンのみが入力情報を反映したダイナミクスを示します。このことから、異なる情報を異なる領域に入力し、それぞれの領域のスピンダイナミクスで独立に情報処理を行うことで、空間的な並列計算を実現できます。この空間並列化は個別のスピン単位まで微細化した領域でも動作することを確認しました。従って、周波数と空間領域における同時並列化により、膨大な数の計算単位を単一の磁性体物理リザバーに集積させる超多重並列計算を実現することが可能となります。（図２）
図２：磁性体物理リザバーコンピューティングの時空間並列化
磁性体物理リザバーコンピューティングの周波数領域（左）と空間領域（右）における並列化の模式図。異なる時系列情報に異なる入力周波数と入力領域を割り当てることで、単一の磁性体物理リザバー内で膨大な時系列情報を同時に処理することができる。
〈今後の展望〉
今回新たに提案した手法は、膨大な並列度のAI情報処理を、単一の磁性体チップ上で高速かつ超低消費電力で実行する新たなAIハードウェアの指導原理として、今後のAI・IoT社会を支える幅広い応用可能性を有しています。本手法は多種多様な磁性材料に応用可能であり、より複雑な相互作用・磁気構造を有する磁性体を物理リザバーとして用いると、スピンダイナミクスの高次元性や非線形性が向上し、さらに高度な情報処理が可能だと期待されます。今後は、磁性体の綿密な物質探索と、その物理リザバーとしての情報処理性能評価を両輪として行い、人類社会の発展に資する革新的AIハードウェア技術の開発へ取り組んでいきます。
発表者
東京大学大学院工学系研究科物理工学専攻
小林 海翔（修士課程）
求 幸年（教授）
論文情報
〈雑誌〉Scientific Reports
〈題名〉Thermally-robust spatiotemporal parallel reservoir computing by frequency filtering in frustrated magnets
〈著者〉Kaito Kobayashi and Yukitoshi Motome
〈DOI〉10.1038/s41598-023-41757-3
〈URL〉https://doi.org/10.1038/s41598-023-41757-3
研究助成
本研究は、JSPS 科研費 新学術領域研究「量子液晶の物性科学」（グラント番号：JP19H05825）、JST CREST（グラント番号：JPMJCR18T2）の支援を受けたものです。また、本研究の計算の一部は東京大学物性研究所スーパーコンピュータを利用し行われました。
用語解説
（注１）人工ニューラルネットワーク
生物の脳内にある神経細胞（ニューロン）の構造や学習メカニズムの一部を模倣した機械学習モデル。数理的にモデル化されたニューロンがネットワークを形成しており、その結合パラメータを学習することで、幅広い問題を解くことができます。
（注２）物理リザバーコンピューティング
時系列情報処理に適した機械学習手法の一つ。一層の情報入力部、入力データを高次元特徴量空間へ非線形射影する複数層のリザバー部、一層の情報出力部から構成され、リザバー部は物理リザバーと呼ばれる物理的なシステム上に実現されます。物理リザバーに物理信号が印加されると何らかの応答を示しますが、その対応関係を入力を出力へ非線形変換するブラックボックスと捉えると、実質的には物理リザバーを内部パラメータが固定されたニューラルネットワークと見なすことができます。そこで、情報出力部の重みパラメータのみを最小二乗法で学習することで、システム全体として情報処理能力を獲得します。学習パラメータ数が少なく、学習手法も簡便であるため、極めて高速かつ高エネルギー効率な学習が可能であり、エッジデバイスにおけるリアルタイム処理への応用が期待されています。
（注３）スピンのダイナミクス
電子の磁気的な性質を担う量子力学的な内部自由度であるスピンが、時間と共に向きを変化させる現象の総称。物質中のスピン一つ一つは小さな磁石のように振る舞い、物質の磁性の大部分は電子のスピンの向きや配列の仕方により決定されます。これらのスピンは、実効的な磁場の周りを回転する歳差運動や、その運動が減衰する過程など、多彩なダイナミクスを示します。
（注４）ノイマン型アーキテクチャ
計算手続きのプログラムをデータとして記憶装置に格納し、これを逐次的に読み込んで実行するコンピュータの基本構成。現在のコンピュータのほとんどがこの方式を採用しています。
プレスリリース本文：PDFファイル
Scientific Reports：https://doi.org/10.1038/s41598-023-41757-3
