利用 Token 凝聚性进行 LLM 生成文本的零样本检测
计算与语言
2024-09-26 v1
摘要
大语言模型 (LLM) 日益增强的能力和广泛的使用凸显了自动检测 LLM 生成文本的必要性。零样本检测器因其无需训练的特性而受到广泛关注并取得了显著成功。在本文中，我们识别了一个对零样本检测有用的新特征——Token 凝聚性，并证明了 LLM 生成的文本往往比人类编写的文本表现出更高的 Token 凝聚性。基于这一观察，我们设计了 TOCSIN，一种通用的双通道检测范式，将 Token 凝聚性作为即插即用模块来改进现有的零样本检测器。为了计算 Token 凝聚性，TOCSIN 仅需几轮随机 Token 删除和语义差异测量，这使其特别适用于无法访问用于生成的源模型的实际黑盒设置。在多个数据集、源模型和评估设置下，使用四种最先进的基线检测器进行的大量实验证明了所提方法的有效性和通用性。代码可在 \url{https://github.com/Shixuan-Ma/TOCSIN} 获取。
引用
@article{arxiv.2409.16914,
title = {Zero-Shot Detection of LLM-Generated Text using Token Cohesiveness},
author = {Shixuan Ma and Quan Wang},
journal= {arXiv preprint arXiv:2409.16914},
year = {2024}
}
备注
To appear at the main conference of EMNLP 2024