GenAI 内容检测任务 3：跨域机器生成文本检测挑战
计算与语言
2025-01-16 v1 机器学习
摘要
近期针对大语言模型（LLM）生成文本的检测任务屡见不鲜，但这些任务多聚焦于单一领域或可变领域的文本检测，部分领域在测试时可能未见。本次共享任务基于新发布的 RAID 基准，旨在探讨模型能否在训练期间检测来自大量固定领域和 LLM 的生成文本。整个任务持续三个月，9支队伆提交了23个检测器。我们发现多数参赛者在保持 5% 假阳性率的前提下，即可在 RAID 生成文本上获得超过 99% 的准确率，表明检测器能够稳健地同时检测来自多个领域和模型的文本。我们讨论了此结果的潜在解释，并提供未来研究的方向。
引用
@article{arxiv.2501.08913,
title = {GenAI Content Detection Task 3: Cross-Domain Machine-Generated Text Detection Challenge},
author = {Liam Dugan and Andrew Zhu and Firoj Alam and Preslav Nakov and Marianna Apidianaki and Chris Callison-Burch},
journal= {arXiv preprint arXiv:2501.08913},
year = {2025}
}
备注
COLING 2025