GPT-who：一种基于信息密度的机器生成文本检测器
计算与语言
2024-04-05 v3
摘要
均匀信息密度（UID）原则认为，人类倾向于在语言产出过程中均匀散布信息。我们考察该 UID 原则是否有助于捕捉大语言模型（LLM）生成文本与人类生成文本之间的差异。我们提出 GPT-who，首个受心理语言学启发、领域无关的统计检测器。该检测器采用基于 UID 的特征为每个 LLM 与人类作者建模独特的统计签名以实现准确检测。我们使用 4 个大规模基准数据集评估该方法，发现 GPT-who 跨领域优于最先进检测器（统计与非统计类，如 GLTR、GPTZero、DetectGPT、OpenAI detector 与 ZeroGPT）超过 %。除更优性能外，它计算开销低，并利用了可解释的文本内容表示。我们发现 GPT-who 能区分由非常复杂的 LLM 生成的文本，即便表层文本难以分辨。所有数据集的基于 UID 的度量与代码见 https://github.com/saranya-venkatraman/gpt-who。
引用
@article{arxiv.2310.06202,
title = {GPT-who: An Information Density-based Machine-Generated Text Detector},
author = {Saranya Venkatraman and Adaku Uchendu and Dongwon Lee},
journal= {arXiv preprint arXiv:2310.06202},
year = {2024}
}
备注
To appear in Findings of the Association for Computational Linguistics: NAACL 2024