生成AIが違法コンテンツを生成する能力を安全に評価する新手法を開発(New Method Keeps Kids Safe from Illegal AI-Generated Content)

2026-07-13 マサチューセッツ工科大学(MIT)

マサチューセッツ工科大学(MIT)の研究チームは、子どもを違法なAI生成コンテンツから保護するための新たな検出・防止技術を開発した。この技術は、AIが生成した児童性的虐待コンテンツ(CSAM)などの違法画像を高精度で識別し、生成や流通を抑制することを目的としている。従来の画像識別手法では、実在画像とAI生成画像の判別や、画像の加工・再生成による検出回避が課題だった。研究チームは、画像の視覚的特徴だけでなく、生成過程に由来する統計的な痕跡を利用する新しい解析手法を開発し、画像の改変後でも高い検出性能を維持できることを示した。また、この手法は違法コンテンツそのものを保存・共有することなく検出モデルを構築できるため、研究や実運用に伴う法的・倫理的リスクの低減にも寄与する。今後は、オンラインプラットフォームや生成AIサービスへの導入を進め、違法コンテンツの拡散防止と子どもの安全確保に役立てることが期待されている。

<関連情報>

生成を伴わない評価:有害モデル特殊化の非生成評価とCSAMへの応用 Evaluation without Generation: Non-Generative Assessment of Harmful Model Specialization with Applications to CSAM

Vinith M. Suriyakumar, Ayush Sekhari, Lena Stempfle, Robertson Wang, Michael Simpson, Rebecca Portnoff, Marzyeh Ghassemi, Ashia C. Wilson
arXiv  Submitted on 28 Apr 2026
DOI:https://doi.org/10.48550/arXiv.2604.25119

Figure 1: (a) Key insight: LoRA fine-tuning shifts the model’s feature distribution, separating benign and explicit outputs in latent space. Proposed Gaussian probing pipeline,which samples Gaussian noise, runs the diffusion model with LoRA, records intermediate activations across timesteps, and aggregates them into feature vectors without generating images. (b) Example results for all three architectures (SD 1.5, SDXL 1.0, FLUX.1-dev) for NSFW and CSAM detection in the wild.

Abstract

Auditing the fine-tunes of open-weight generative models for harmful specialization has become a new governance challenge for model hosting platforms. The standard toolkit, generative evaluation via curated prompts or red-teaming, does not scale to platform-level auditing and breaks down entirely for domains like CSAM where generation is legally constrained. This motivates the Evaluation without Generation problem: assessing model capabilities without producing outputs. We argue that in such settings, capability must be inferred from the model’s state, either its parameters or internal representations, rather than its outputs. We introduce Gaussian probing, a method that characterizes how LoRA adaptors perturb a model’s internal representations by measuring responses to Gaussian latent ensembles. Unlike raw-weight baselines, Gaussian probing reliably distinguishes benign from harmful specialization without sampling outputs. We demonstrate effectiveness in high-risk domains, including detecting models specialized for child sexual abuse material (CSAM), where output-based evaluation is legally and ethically constrained. Our results show that Gaussian probing provides a scalable non-generative alternative for evaluating high-risk generative systems and remains robust to weight rescaling, a representative adversarial manipulation.

1603情報システム・データ工学
ad
ad
Follow
ad
タイトルとURLをコピーしました