誰が書いたのか?コロンビア大学のエンジニアがAIが作成したテキストを識別する新しい方法を発見(Who Wrote This? Columbia Engineers Discover Novel Method to Identify AI-generated Text)

ad

2024-03-19 コロンビア大学

Junfeng YangとCarl Vondrick教授は、Raidarというシステムを開発しました。これは、AIやChatGPTなどのLLMが生成したか人間が書いたかを識別する手法で、モデルの内部構造にアクセスする必要がなく、オープンソースのコードとデータセットが含まれた論文がICLRで発表されます。Raidarは、LLMが与えられたテキストを再表現または変更し、そのシステムが与えられたテキストを変更する程度を計り、人間によるものか機械生成のものかを識別します。

<関連情報>

Raidar:遺伝子組み換えAI検出と書き換え Raidar: geneRative AI Detection viA Rewriting

Chengzhi Mao, Carl Vondrick, Hao Wang, Junfeng Yang
arXiv  Submitted on:23 Jan 2024
DOI:https://doi.org/10.48550/arXiv.2401.12970

誰が書いたのか?コロンビア大学のエンジニアがAIが作成したテキストを識別する新しい方法を発見(Who Wrote This? Columbia Engineers Discover Novel Method to Identify AI-generated Text)

Abstract

We find that large language models (LLMs) are more likely to modify human-written text than AI-generated text when tasked with rewriting. This tendency arises because LLMs often perceive AI-generated text as high-quality, leading to fewer modifications. We introduce a method to detect AI-generated content by prompting LLMs to rewrite text and calculating the editing distance of the output. We dubbed our geneRative AI Detection viA Rewriting method Raidar. Raidar significantly improves the F1 detection scores of existing AI content detection models — both academic and commercial — across various domains, including News, creative writing, student essays, code, Yelp reviews, and arXiv papers, with gains of up to 29 points. Operating solely on word symbols without high-dimensional features, our method is compatible with black box LLMs, and is inherently robust on new content. Our results illustrate the unique imprint of machine-generated text through the lens of the machines themselves.

1600情報工学一般
ad
ad
Follow
ad
タイトルとURLをコピーしました