省電力、高集積化可能な小型AIハードウエアの開発を促進
2019-04-22 産業技術総合研究所
ポイント
- 常温で動作し集積化可能なナノメートルサイズのスピントロニクス素子を用いた物理リザバー計算
- 同期技術を用いて熱雑音の影響を低減し、計算の信頼性を向上
- IoT端末やロボット向けの小型AIハードウエアの開発を促進
概要
国立研究開発法人 産業技術総合研究所【理事長 中鉢 良治】（以下「産総研」という）スピントロニクス研究センター【研究センター長 湯浅 新治】金属スピントロニクスチーム 常木 澄人 研究員、谷口 知大 主任研究員、薬師寺 啓 研究チーム長、同研究センター 久保田 均 総括研究主幹らは、国立大学法人 東京大学 大学院情報理工学系研究科 中嶋 浩平 特任准教授、物性研究所 三輪 真嗣 准教授と共同で、スピントルク発振素子を用いた物理リザバー計算の短時間記憶容量を向上させた。
リカレントニューラルネットワークの一つであるリザバー計算は、学習が素早く人工知能（AI）ハードウエアへと展開する取り組みが注目を集めている。しかし従来の方式では、動作原理や動作温度の観点から小型化が困難であった。一方、産総研はナノメートルサイズの磁石を利用した常温で動作するスピントルク発振素子を用いた物理リザバー計算を提案してきた。物理リザバー計算はネットワーク内部の複雑な計算をモノの運動で代替するもので、素子サイズが小さいため省電力で、高集積化が可能であるが、熱雑音の影響が大きいため計算の信頼性が低いという課題があった。今回、高周波磁界による同期現象を利用してリザバー計算のベンチマークである短時間記憶容量を向上させた。これは計算の信頼性が向上したことに対応する。今回開発した技術による物理リザバー計算によって、常温で動作する小型の高密度AIハードウエアの研究開発が促進されると期待される。
なお、この成果の詳細は、2019年4月22日（米国東部夏時間）にApplied Physics Letters（DOI：10.1063/1.5081797）のオンライン版で公開される。
リザバー計算（左）とスピントルク発振素子（右）の概要図
（左）時系列データを記憶し、認識などの計算を行う。（右上）従来のスピントルク発振素子は熱雑音の影響で信頼性が低下する問題があった。（右下）今回、高周波磁界をかけて安定化し、その課題を解決した。
開発の社会的背景
さまざまなモノ（センサー端末など）がインターネットに接続され情報交換することで相互に制御するInternet of Things （IoT）社会の到来によって、扱う情報量の爆発的な増大が予想されている。その中で、運動、音声、動画などの時系列データを処理する情報処理技術の高度化が必要とされ、時系列データ処理を得意とするリカレントニューラルネットワークなどのAI技術が注目されている。一方で、これらのAI技術を利用するには、既存ハードウエア（CPUやグラフィック処理など並列計算向けのGPUなど）を用いたソフトウエアによる大規模なネットワーク構造を準備して、大量のデータを学習すること（ノードの最適化）が必要であり、その計算量が莫大（ばくだい）となることが問題となっている。そのため、新しいデバイスやそれを用いた新しい論理回路が提案され、AIをハードウエア化する取り組みが盛んになってきた。特に、リカレントニューラルネットワークのフレームワークの一つであるリザバー計算を物理的なデバイスで行う物理リザバー計算が注目されている。物理リザバー計算は従来のリカレントニューラルネットワークとは異なり、ネットワーク内部のデバイスに手を加えず、むしろ、デバイスに備わった固有の物理特性を活用して計算を行う。このため、ネットワーク内部の調整が難しいソフトマテリアルなどもリザバー計算に利用でき、入出力に再現性があれば何でも計算のリソースとして利用できると考えられている。このため、レーザーや量子ビットなどを用いた物理リザバー計算の研究開発が行われている。一方で、センサーなどのIoT端末の将来予測やロボットの動的制御への応用という観点からは、対象となるデバイスが小さいことやエネルギーの制約から、物理リザバー計算を行うデバイスには小型、省電力、常温動作などの特性が求められる。大型回路が必要なレーザーや低温動作の量子ビットでは、将来予測などの複雑な演算を行う大規模なネットワーク構造のAIハードウエアの実現は困難と考えられる。
図1 従来のリカレントニューラルネットワークと物理リザバー計算の違い
研究の経緯
産総研は、不揮発性磁気メモリーMRAMの研究開発で培った薄膜材料技術と微細素子作製技術を応用して、高周波自励発振素子「スピントルク発振素子」の実用化研究を行ってきた（図2）。スピントルク発振素子は、ナノ磁石の中で起こるスピンの回転運動を利用して直流電流から高周波の交流電圧を発生させる自励発振素子で、1マイクロワット程度の微少な入力信号で動作する低消費電力性を備えている。また、メモリーと同様にナノメートルレベルまで小型化でき集積化できるため、この素子を用いた小型で大規模なネットワーク構造のAIハードウエアを目指してきた。これまでに、単一のスピントルク発振素子を用いた人工ニューロンを作製し、リザバー計算による高い音声認識率を実証した（2017年7月27日産総研プレス発表）。
なお、今回の研究開発は国立研究開発法人 新エネルギー・産業技術総合開発機構（NEDO）から委託された「高効率・高速処理を可能とするAIチップ・次世代コンピューティングの技術開発プロジェクト／次世代コンピューティング技術の開発／未来共生社会にむけたニューロモルフィックダイナミクスのポテンシャルの解明」の支援により行った。
図2 スピントルク発振素子の模式図
黒い矢印は磁性体の磁化の向きを表す。今回の研究では直径450 nmの素子を使用した。
研究の内容
スピントルク発振素子は常温動作可能、ナノメートルサイズと超小型で消費電力が少ないなど、さまざまな利点から、多数の素子を高密度に集積化できるため、大規模なネットワーク構造による物理リザバー計算の計算素子として適している。一方で、サイズが小さいためスピンの回転運動が熱雑音によって影響を受けて出力が乱れやすく、計算の信頼性が低いという課題があり、認識タスクなどのリザバー計算に誤りが生じていたため、今回、この課題の解決に取り組んだ。
今回、スピントルク発振素子に高周波磁界をかけて、スピンの回転運動を磁界の振動にそろえる強制同期という現象を利用した。この強制同期技術によって熱雑音によるスピンの回転運動の乱れを抑えることができた。今回開発した技術による物理リザバー計算の性能向上を実証するために、ベンチマークである短時間記憶容量を評価した。この容量はリザバー計算で処理できるデータ数であり、この値が大きいほどリザバー計算による認識タスクの正答率が向上するなど計算性能が高くなる。短時間記憶容量を評価するために高周波磁界の位相をパルスのように急峻（きゅうしゅん）に変化させる入力を何回も行い、スピントルク発振素子の出力（位相）の変化を測定した（図3）。図4（a）、（b）に、使用した入力パルスと発振素子からの出力を示す。高周波磁界が強いほど、発振素子の出力が入力の変化に対して大きく応答していた。この出力が持つ記憶から再現できる入力パルスの個数が、短時間記憶容量である。図4（c）に短時間記憶容量と磁界強度の関係を示す。磁界強度が強いほど、熱雑音を抑制できるため短時間記憶容量が大きくなり、最大で3.6であった。これは強制同期現象を利用しない場合のおよそ2倍の非常に大きな値であった。実際に、強制同期現象を利用しない以前の報告（2017年7月27日産総研プレス発表）の認識タスクでは82 %であった正答率が、今回の技術を適用することで99 %以上と飛躍的に向上しており、今回開発した技術が熱雑音の影響を低減し、計算の信頼性を向上する手段として極めて有効であることを示している。
図3 入力に対する発振素子の出力（位相）の変化
左図の入力の高周波磁界は、ある時間で位相が急峻に変化している。一方、右図に示すスピントルク発振素子の出力の位相は過去の入力履歴に依存し、ゆっくりと変化している。
図4 同期現象を利用したスピントルク発振素子のリザバー計算の実験結果
（a）入力した磁界の位相、（b）スピントルク発振素子の位相、（c）短時間記憶容量の磁界強度依存性
発振素子の位相を重みと積和演算し、過去の入力データを再現し、再現できた個数を記憶容量とした。
ここでnsはナノ秒、mTはミリテスラを表す。
強制同期現象を利用する今回の技術によって熱雑音の問題を打開したことで、ナノメートルサイズのスピントルク発振素子を集積化した大規模なネットワーク構造による物理リザバー計算の実現に向けて大きく前進した。IoT端末での将来予測やロボット制御の大規模計算を常温で行える小型のAIハードウエアが実現すると期待される。これまでスピントロニクス分野では磁気記録やメモリー応用に主眼が置かれてきたが、今回開発した技術によりスピントロニクス技術のAIへの応用に道を拓くと考えられる。
今後の予定
強制同期現象を利用したスピントルク発振素子を集積化して物理リザバー計算を行うAIハードウエアを開発し、IoT端末やロボットなどへの応用展開を目指す。
用語の説明
- ◆スピントルク発振素子
- ナノメートルサイズの2枚の磁石で絶縁膜を挟んだ素子。この素子に直流電流を流すと、電流と磁石の相互作用によって磁石のスピン（N極、S極の向き）が回転する。素子の電気抵抗はスピンの向きに依存するため、この回転運動によって素子から出力される電圧が時間的に振動する。スピントルク発振素子は半導体発振素子とは異なり、共振器や周波数を高めるための回路などを用いずにマイクロ波帯の交流信号を直接発生させることができるという強みを持つ。
- ◆リザバー計算
- リカレントニューラルネットワーク（下記参照）の一種。ネットワーク内部の複雑な応答に適当な重みを掛け合わせることで、目的にあったものを取得する計算方法をリザバー計算と呼ぶ。ネットワーク内部の重みは制御しなくてもよい。このことから、入力に対して何かしらの応答があるものであれば何でも計算に使える。そこで内部の複雑な計算をモノの運動で代替する物理リザバー計算が近年急速に発展してきた。
- ◆短時間記憶容量
- リカレントニューラルネットワークが蓄えられるデータの数。音声や動画などの時系列情報を認識するには次々に入力されるデータを関連付けなければならない。そのためリカレントニューラルネットワークは内部に入力データを蓄えなければならない。蓄えられるデータが多いほど複雑な音声や動画を識別できるようになるので計算性能が高いと言える。この記憶は時間とともに無くなるので、短時間記憶と呼ばれる。リザバー計算では現在さまざまな物理系で実証されているが、それらの性能比較を行うためにも、短時間記憶容量の定量的な評価は学術的にも産業応用的にも非常に重要である。
- ◆リカレントニューラルネットワーク
- ニューラルネットワークの一種。人間の脳はたくさんのニューロンがシナプスを介して情報をやり取りすることで経験から学習し、認識や判断といった複雑な動作をおこなっている。このような脳の動きを模倣する数学的なモデルを一般にニューラルネットワークという。この模倣の仕方によってさまざまなニューラルネットワークの種類が存在する。
リカレントニューラルネットワークは複数のニューロンが相互につながったニューラルネットワークである（図1参照）。リカレントニューラルネットワークはニューロン間のつながりの強さ（重みという）を調整することで学習する（下記参照）。従来のリカレントニューラルネットワークは音声や動画の認識率を向上させるためにネットワーク内の全ての重みを調整していた。しかし多数の重みを調整するには大きな計算コストが必要となるという問題がある。また素子によってはネットワークを作製した後で重みを調整するのが難しい場合もある。そこでリザバー計算という新しい学習則を採用したニューラルネットワークが提案された。 - ◆学習
- シナプスを介したニューロン間の結合の強さ（重み）を変化させることを学習という。ニューロンは個々にさまざまな機能を持っており、人間が経験を積むことで関連のある機能を持ったニューロンが強く結びくようになる。その結果、認識や判断、予測といった複雑な動作をおこなえるようになる。ニューラルネットワークでは経験を積むということは重みが変化することに対応する。この重みをどのように変化させるかというルールとしてさまざまな方法が提案されており、それらを学習則という。
- ◆人工知能（AI） ハードウエア
- CPUやGPUなどの既存のハードウエアとは異なり、深層学習に代表されるニューラルネットワークを省電力で高速計算するために専用設計されたハードウエア。
- ◆同期現象
- 振り子や波などの振動するもの（振動子）が二つ以上集まった時に、振動の速さ（周波数という）や位置（位相という）が、何らかの作用でそろう現象。今回利用した電子デバイスの同期以外にも、置時計の振り子の同期やホタルの発光の同期など多様な同期現象がある。
- ◆強制同期
- 同期現象の一つであり、一つの振動子の周波数や位相に他の振動子の周波数や位相が何らかの作用で強制的に揃うこと。安定した振動子によって、不安定な振動子を安定化させる際に用いられる。
