最適輸送が組み込まれた「生成拡散モデル」の学習則の解明~計算資源の限られた環境における高性能な生成モデルの活用にも期待~

2025-10-01 東京科学大学

東京科学大学と東北大学の研究チームは、生成AIの基盤技術である生成拡散モデルに「最適輸送」の理論を導入し、その学習則を単純化することに成功した。これにより、モデル内の2つのニューラルネットワークの役割を明確化し、一方の学習を早期に終了させても精度を落とさず計算コストを削減できることを実証。成果は「Physical Review Research」に掲載され、計算資源の限られた環境でも高性能な生成モデルの活用が期待される。

最適輸送が組み込まれた「生成拡散モデル」の学習則の解明~計算資源の限られた環境における高性能な生成モデルの活用にも期待~
図1. シュレーディンガー橋を用いた生成拡散モデルのイメージ図

<関連情報>

変分オートエンコーダの拡張としてのシュレーディンガー橋型拡散モデル Schrödinger bridge-type diffusion models as an extension of variational autoencoders

Kentaro Kaba, Reo Shimizu, Masayuki Ohzeki, and Yuki Sughiyama
Physical Review Research  Published: 3 September, 2025
DOI: https://doi.org/10.1103/dxp7-4hby

Abstract

Generative diffusion models are described by time-forward and -backward stochastic differential equations to connect the data and prior distributions. While conventional diffusion models (e.g., score-based models) only learn the backward process, more flexible frameworks have been proposed to also learn the forward process by employing the Schrödinger bridge (SB). However, due to the complexity of the mathematical structure behind SB-type models, we cannot easily give an intuitive understanding of their objective function. In this work, we propose a unified framework to construct diffusion models by reinterpreting the SB-type models as an extension of variational autoencoders. In this context, the data processing inequality plays a crucial role. As a result, we find that the objective function consists of the prior loss and drift matching parts, which enable us to reduce the numerical cost of training the forward process. Furthermore, we discuss the overfitting problem in the SB-type models in this framework.

1602ソフトウェア工学
ad
ad
Follow
ad
タイトルとURLをコピーしました