DetectGPT：利用概率曲率进行零样本机器生成文本检测
计算与语言
2023-07-25 v2 人工智能
摘要
大型语言模型（LLMs）日益流畅且广泛使用，凸显了配套工具辅助检测LLM生成文本的需求。本文中，我们识别出LLM概率函数结构中一种有助于此类检测的性质。具体而言，我们证明从LLM采样的文本往往占据模型对数概率函数的负曲率区域。利用该观察，我们定义了一种新的基于曲率的判据，用于判断某段落是否由给定LLM生成。该方法称为DetectGPT，无需训练单独的分类器、收集真实或生成段落的数据集，或显式地对生成文本加水印。它仅使用相关模型计算的对数概率，以及另一通用预训练语言模型（如T5）对段落的随机扰动。我们发现DetectGPT比现有的零样本模型样本检测方法更具判别力，将20B参数GPT-NeoX生成的假新闻文章检测从最强零样本基线的0.81 AUROC显著提升至DetectGPT的0.95 AUROC。参见 https://ericmitchell.ai/detectgpt 获取代码、数据及其他项目信息。
引用
@article{arxiv.2301.11305,
title = {DetectGPT: Zero-Shot Machine-Generated Text Detection using Probability Curvature},
author = {Eric Mitchell and Yoonho Lee and Alexander Khazatsky and Christopher D. Manning and Chelsea Finn},
journal= {arXiv preprint arXiv:2301.11305},
year = {2023}
}
备注
ICML 2023