コピーではなくイメージからインスピレーションを引き出すよう訓練された人工知能(Artificial Intelligence Trained to Draw Inspiration From Images, Not Copy Them)

ad

2024-05-20 テキサス大学オースチン校(UT Austin)

テキサス大学オースティン校の研究チームは、AIモデルが著作権侵害を回避できる新しい訓練フレームワーク「Ambient Diffusion」を開発しました。このフレームワークは、認識不能なほど破損した画像データのみを使ってAIモデルを訓練し、高品質な画像を生成しつつ、元の画像を認識しないため著作権問題を回避できます。実験では、ランダムに90%のピクセルをマスクしたデータで訓練したモデルが、高品質な画像を生成しながらも元画像を模倣しないことが確認されました。さらに、この方法は高価なデータセットを必要としないため、科学や医療分野にも応用が期待されます。

<関連情報>

拡散の一貫性とツイーディーの出会い:ノイズの多いデータで正確な環境拡散モデルを学習する Consistent Diffusion Meets Tweedie: Training Exact Ambient Diffusion Models with Noisy Data

Giannis Daras, Alexandros G. Dimakis, Constantinos Daskalakis
arXiv  Submitted on 20 Mar 2024
DOI:https://doi.org/10.48550/arXiv.2404.10177

コピーではなくイメージからインスピレーションを引き出すよう訓練された人工知能(Artificial Intelligence Trained to Draw Inspiration From Images, Not Copy Them)

Abstract

Ambient diffusion is a recently proposed framework for training diffusion models using corrupted data. Both Ambient Diffusion and alternative SURE-based approaches for learning diffusion models from corrupted data resort to approximations which deteriorate performance. We present the first framework for training diffusion models that provably sample from the uncorrupted distribution given only noisy training data, solving an open problem in this space. Our key technical contribution is a method that uses a double application of Tweedie’s formula and a consistency loss function that allows us to extend sampling at noise levels below the observed data noise. We also provide further evidence that diffusion models memorize from their training sets by identifying extremely corrupted images that are almost perfectly reconstructed, raising copyright and privacy concerns. Our method for training using corrupted samples can be used to mitigate this problem. We demonstrate this by fine-tuning Stable Diffusion XL to generate samples from a distribution using only noisy samples. Our framework reduces the amount of memorization of the fine-tuning dataset, while maintaining competitive performance.

1602ソフトウェア工学
ad
ad
Follow
ad
タイトルとURLをコピーしました