谁写的？零样本LLM生成文本检测的关键是GECScore
计算与语言
2025-03-04 v2
摘要
用于检测大型语言模型（LLM）生成文本的检测器的有效性在很大程度上取决于大规模训练数据的可用性。然而，不需要此类数据的白盒零样本检测器受到LLM生成文本的源模型可访问性的限制。在本文中，我们提出了一种简单而有效的黑盒零样本检测方法，基于以下观察：从LLM的角度来看，人类撰写的文本通常比LLM生成的文本包含更多的语法错误。该方法涉及计算给定文本的语法纠错分数（GECScore），以区分人类撰写的文本和LLM生成的文本。实验结果表明，我们的方法优于当前最先进的（SOTA）零样本和监督方法，在XSum和Writing Prompts数据集上实现了平均AUROC 98.62%。此外，我们的方法在野外表现出强大的可靠性，具有稳健的泛化能力和对释义攻击的抵抗力。数据和代码可在以下网址获得：https://github.com/NLP2CT/GECScore。
引用
@article{arxiv.2405.04286,
title = {Who Wrote This? The Key to Zero-Shot LLM-Generated Text Detection Is GECScore},
author = {Junchao Wu and Runzhe Zhan and Derek F. Wong and Shu Yang and Xuebo Liu and Lidia S. Chao and Min Zhang},
journal= {arXiv preprint arXiv:2405.04286},
year = {2025}
}
备注
COLING 2025