人工知能のための効率的なトレーニング(Efficient training for artificial intelligence)

ad

2023-09-08 マックス・プランク研究所

◆ChatGPTのトレーニングには大量のエネルギーが必要で、具体的な量は不明ですが、200世帯分の年間消費量に匹敵すると言われています。これに対し、ニューロモーフィックコンピューティングと呼ばれる新しいコンピュータ処理コンセプトが開発されており、物理的なプロセスを使用してAIをトレーニングする方法が提案されています。
◆この方法では、エネルギーと計算時間を節約し、今後のAIの発展に寄与する可能性があります。このアプローチは、光を使用したフォトニック回路などのシステムで実現され、自己学習型物理マシンの開発が進行中です。将来的には、効率的にトレーニングされたニューロモーフィックコンピュータがAIの発展に重要な役割を果たすかもしれません。

<関連情報>

ハミルトニアンエコーバックプロパゲーションに基づく自己学習マシン Self-Learning Machines Based on Hamiltonian Echo Backpropagation

Víctor López-Pastor and Florian Marquardt
Physical Review X  Published 18 August 2023
DOI:https://doi.org/10.1103/PhysRevX.13.031020

Figure 1

ABSTRACT

A physical self-learning machine can be defined as a nonlinear dynamical system that can be trained on data (similar to artificial neural networks) but where the update of the internal degrees of freedom that serve as learnable parameters happens autonomously. In this way, neither external processing and feedback nor knowledge of (and control of) these internal degrees of freedom is required. We introduce a general scheme for self-learning in any time-reversible Hamiltonian system. It relies on implementing a time-reversal operation and injecting a small error signal on top of the echo dynamics. We show how the physical dynamics itself will then lead to the required gradient update of learnable parameters, independent of the details of the Hamiltonian. We illustrate the training of such a self-learning machine numerically for the case of coupled nonlinear wave fields and other examples.

ad

1600情報工学一般
ad
ad
Follow
ad
タイトルとURLをコピーしました