你能检测差异吗？
计算与语言
2025-07-15 v1 人工智能
摘要
大语言模型（LLM）的快速发展引发了关于可靠检测AI生成文本的担忧。风格化指标在自回归（AR）输出方面表现良好，但其在扩散模型上的有效性尚未知晓。我们首次系统比较了基于扩散生成的文本（LLaDA）和AR生成的文本（LLaMA），并使用了2000个样本。困惑度、波动性、词汇多样性、可读性以及BLEU/ROUGE分数显示，LLaDA在困惑度和波动性方面接近人类文本，导致AR导向检测器的高假阴性率。LLaMA的困惑度显著低于人类文本，但词汇保真度较差。依赖任何单一指标都无法区分扩散输出与人类写作。我们强调需要针对扩散模型的检测器，并提出了混合模型、扩散特定风格化特征和稳健水印等方向。
引用
@article{arxiv.2507.10475,
title = {Can You Detect the Difference?},
author = {İsmail Tarım and Aytuğ Onan},
journal= {arXiv preprint arXiv:2507.10475},
year = {2025}
}
备注
11 pages, 3 figures, 2 tables. Code and data: https://github.com/ismailtrm/ceng_404. Cross-list requested to cs.AI for AI-safety relevance