ブラウン大学とマサチューセッツ工科大学の研究者は、高度な機械学習システムと逐次サンプリング技術の組み合わせにより、科学者が異常気象を予測するために膨大なデータセットを必要としない方法を提案します。 Researchers from Brown and MIT suggest how scientists can circumvent the need for massive data sets to forecast extreme events with the combination of an advanced machine learning system and sequential sampling techniques.
2022-12-19 ブラウン大学
Nature Computational Science誌に掲載されたこの新しい研究で、研究チームは、より少ないデータで正確かつ効率的に予測できる統計アルゴリズムとブラウン大学で開発された強力な機械学習技術を組み合わせ、歴史的記録がないにもかかわらず、珍しい出来事のシナリオ、確率、時には時系列さえ予測できるように訓練した方法を説明している。
研究者たちは、アクティブラーニングと呼ばれる逐次サンプリング手法にその答えを見いだしました。この種の統計アルゴリズムは、入力されたデータを分析できるだけでなく、その情報から学習して、計算結果にとって同等またはそれ以上に重要な、新たな関連データポイントにラベル付けすることができる。最も基本的なレベルでは、機械学習はより少ない労力でより多くのことを可能にします。
このことは、研究者がこの研究で使用した機械学習モデルにとって非常に重要である。DeepOnetと呼ばれるこのモデルは、人工ニューラルネットワークの一種であり、人間の脳のニューロンによる結合をほぼ模倣した、連続した層で相互接続されたノードを使用する。
DeepOnetは、ディープニューラル演算子として知られています。2つのニューラルネットワークが1つになっており、2つの並列ネットワークでデータを処理するため、一般的な人工ニューラルネットワークよりも高度で強力です。そのため、巨大なデータセットやシナリオを猛スピードで分析し、何を探しているのかを学習すると、同様に巨大な確率のセットを吐き出すことができる。
この強力なツールのボトルネックは、特に稀な事象に関連する場合、ディープニューラル演算子が効果的で正確な計算を行うために、膨大な量のデータを訓練する必要があるということです。
この論文の中で、研究チームは、能動学習技術と組み合わせることで、データポイントが多くない場合でも、誰かが分析している悲惨な出来事につながる、どのようなパラメーターや前兆を探せばよいか、DeepOnetモデルが学習できることを示しています。
＜関連情報＞
- https://www.brown.edu/news/2022-12-19/extreme-events
- https://www.nature.com/articles/s43588-022-00376-0
ニューラル・オペレータの能動学習による異常現象の発見と予測 Discovering and forecasting extreme events via active learning in neural operators
Ethan Pickering,Stephen Guth,George Em Karniadakis & Themistoklis P. Sapsis
Nature Computational Science Published:19 December 2022
DOI:https://doi.org/10.1038/s43588-022-00376-0
Abstract
Extreme events in society and nature, such as pandemic spikes, rogue waves or structural failures, can have catastrophic consequences. Characterizing extremes is difficult, as they occur rarely, arise from seemingly benign conditions, and belong to complex and often unknown infinite-dimensional systems. Such challenges render attempts at characterizing them moot. We address each of these difficulties by combining output-weighted training schemes in Bayesian experimental design (BED) with an ensemble of deep neural operators. This model-agnostic framework pairs a BED scheme that actively selects data for quantifying extreme events with an ensemble of deep neural operators that approximate infinite-dimensional nonlinear operators. We show that not only does this framework outperform Gaussian processes, but that (1) shallow ensembles of just two members perform best; (2) extremes are uncovered regardless of the state of the initial data (that is, with or without extremes); (3) our method eliminates ‘double-descent’ phenomena; (4) the use of batches of suboptimal acquisition samples compared to step-by-step global optima does not hinder BED performance; and (5) Monte Carlo acquisition outperforms standard optimizers in high dimensions. Together, these conclusions form a scalable artificial intelligence (AI)-assisted experimental infrastructure that can efficiently infer and pinpoint critical situations across many domains, from physical to societal systems.
