DetectLLM：利用对数秩信息进行机器生成文本的零样本检测
计算与语言
2023-06-12 v1 人工智能
摘要
随着大型语言模型（LLM）的快速发展及其生成的大量文本，人工区分文本是否由机器生成变得越来越不切实际。鉴于 LLM 在社交媒体和教育中日益广泛的使用，这促使我们开发检测机器生成文本的方法，以防止抄袭、虚假信息和政治宣传等恶意使用。先前的工作已研究了若干零样本方法，这些方法无需训练数据。这些方法取得了良好的性能，但仍有很大的改进空间。在本文中，我们介绍了两种利用对数秩信息检测机器生成文本的新型零样本方法。一种称为 DetectLLM-LRR，速度快且高效；另一种称为 DetectLLM-NPR，更准确，但由于需要扰动而速度较慢。我们在三个数据集和七个语言模型上的实验表明，我们提出的方法在 AUROC 上绝对值分别比现有技术提高了 3.9 和 1.75 个百分点。此外，DetectLLM-NPR 达到同等性能所需的扰动少于先前工作，这使其在实际应用中更具实用性。我们还基于用户对这两个指标的偏好研究了效率与性能的权衡，并提供了在实践中有效使用它们的直觉指导。我们在 https://github.com/mbzuai-nlp/DetectLLM 发布了这两种方法的数据和代码。
引用
@article{arxiv.2306.05540,
title = {DetectLLM: Leveraging Log Rank Information for Zero-Shot Detection of Machine-Generated Text},
author = {Jinyan Su and Terry Yue Zhuo and Di Wang and Preslav Nakov},
journal= {arXiv preprint arXiv:2306.05540},
year = {2023}
}
备注
machine-generated text, large language models, LLMs, zero-shot