ニューラルネットワークはどのように学習するのか?関連するパターンの検出方法を数式で説明(How Do Neural Networks Learn? A Mathematical Formula Explains How They Detect Relevant Patterns)

ad

2024-03-13 カリフォルニア大学サンディエゴ校(UCSD)

カリフォルニア大学サンディエゴ校の研究者らは、ニューラルネットワークがどのように学習するかを理解するために、統計分析の式を使用し、特徴(データ内の関連パターン)を学習し、予測に使用する方法を数学的に説明する手法を開発した。この研究は、機械学習の理解を深め、ニューラルネットワークを含まない他のシステムの効率向上にも役立つ可能性がある。

<関連情報>

ニューラルネットワークとバックプロパゲーションを使わない機械学習モデルにおける特徴学習のメカニズム Mechanism for feature learning in neural networks and backpropagation-free machine learning models

ADITYANARAYANAN RADHAKRISHNAN, DANIEL BEAGLEHOLE , PARTHE PANDIT, AND MIKHAIL BELKIN
Science  Published:7 Mar 2024
DOI:https://doi.org/10.1126/science.adi5639

Abstract

Understanding how neural networks learn features, or relevant patterns in data, for prediction is necessary for their reliable use in technological and scientific applications. In this work, we presented a unifying mathematical mechanism, known as Average Gradient Outer Product (AGOP), that characterized feature learning in neural networks. We provided empirical evidence that AGOP captured features learned by various neural network architectures, including transformer-based language models, convolutional networks, multi-layer perceptrons, and recurrent neural networks. Moreover, we demonstrated that AGOP, which is backpropagation-free, enabled feature learning in machine learning models, such as kernel machines, that apriori could not identify task-specific features. Overall, we established a fundamental mechanism that captured feature learning in neural networks and enabled feature learning in general machine learning models.

1600情報工学一般
ad
ad
Follow
ad
タイトルとURLをコピーしました