哪些 LLM 检测困难？对 LLM 文本检测难度因素的详细分析
计算与语言
2024-12-11 v2 机器学习
摘要
随着 LLM 的可访问性增强，LLM 生成的文本在多个领域广泛传播，如科学、学术和创意写作。然而，LLM 并非等价，它们可能具有不同的架构和训练数据集。因此，一些 LLM 可能比其他 LLM 更难检测。使用覆盖四个写作领域的两个数据集，我们使用 LibAUC 库训练 AI 生成（AIG）文本分类器——这是一个用于训练不平衡数据集分类器的深度学习库。我们在 Deepfake Text 数据集上的结果显示，AIG 文本检测在不同领域之间存在差异，其中科学写作相对较具挑战性。在关注学生作文的 Rewritten Ivy Panda（RIP）数据集中，我们发现 OpenAI 系列 LLM 对我们的分类器来说与人类文本区分具有较大难度。此外，我们探讨了可能解释检测 OpenAI 生成文本困难性的因素。
引用
@article{arxiv.2410.14875,
title = {Which LLMs are Difficult to Detect? A Detailed Analysis of Potential Factors Contributing to Difficulties in LLM Text Detection},
author = {Shantanu Thorat and Tianbao Yang},
journal= {arXiv preprint arXiv:2410.14875},
year = {2024}
}
备注
Accepted at NeurIPS 2024 - Safe Generative AI Workshop; Camera-ready version