零样本机器生成文本检测器的鲁棒性评估
计算与语言
2023-12-22 v2
摘要
为了应对自然语言生成（NLG）技术的潜在滥用，人们开发了多种算法用于检测AI生成的文本。传统上，该任务被视为二分类问题。尽管监督学习已显示出有希望的结果，但获取用于检测的标记数据面临现实世界的挑战和过拟合的风险。为了解决这些问题，我们深入研究了零样本机器生成文本检测领域。现有的零样本检测器通常针对特定任务或主题设计，往往假设统一的测试场景，限制了其实用性。在我们的研究中，我们探索了各种先进的大型语言模型（LLM）及其专门变体，以多种方式为该领域做出贡献。在实证研究中，我们发现了主题与检测性能之间的显著相关性。其次，我们深入研究了主题转移对零样本检测器的影响。这些研究揭示了这些检测方法在不同主题上的适应性和鲁棒性。代码可在 \url{https://github.com/yfzhang114/robustness-detection} 获取。
引用
@article{arxiv.2312.12918,
title = {Assaying on the Robustness of Zero-Shot Machine-Generated Text Detectors},
author = {Yi-Fan Zhang and Zhang Zhang and Liang Wang and Tieniu Tan and Rong Jin},
journal= {arXiv preprint arXiv:2312.12918},
year = {2023}
}
备注
8 pages, 3 figures, AAAI 2024 Workshop on Responsible Language Models