LLMDet：一款第三方大语言模型生成文本检测工具
计算与语言
2023-11-06 v3
摘要
大语言模型（LLMs）生成的文本与高质量人类撰写文本极为接近，引发了人们对其在传播虚假信息与学术不端中潜在滥用的担忧。因此，迫切需要一个高度实用的检测工具，能够准确识别给定文本的来源。然而，现有检测工具通常依赖于对 LLMs 的访问，且只能区分机器生成与人类撰写的文本，无法满足细粒度溯源、中间判定与快速检测的需求。为此，我们提出 LLMDet，一款模型特定、安全、高效且可扩展的检测工具，能够溯源来自特定 LLMs（如 GPT-2、OPT、LLaMA 等）的文本。在 LLMDet 中，我们记录显著 n-gram 的下一词概率作为特征，以计算各 LLM 的代理困惑度。通过联合分析各 LLM 的代理困惑度，我们可判定生成文本的来源。实验结果表明，LLMDet 在确保速度与安全性的同时取得了令人印象深刻的检测性能，识别人类撰写文本达到 98.54% 的精确率且快 x5.0 倍。此外，LLMDet 可轻松将其检测能力扩展至新的开源模型。我们将在 https://github.com/TrustedLLM/LLMDet 提供开源工具。
引用
@article{arxiv.2305.15004,
title = {LLMDet: A Third Party Large Language Models Generated Text Detection Tool},
author = {Kangxi Wu and Liang Pang and Huawei Shen and Xueqi Cheng and Tat-Seng Chua},
journal= {arXiv preprint arXiv:2305.15004},
year = {2023}
}
备注
Accepted to the Findings of EMNLP 2023