论机器生成文本检测器的零样本泛化
计算与语言
2023-10-10 v1
摘要
大型语言模型的泛滥式增殖，其流畅到能生成与人工书写语言无法区分的文本，使得机器生成文本的检测获得前所未有的重要性。本工作受一个重要的研究问题驱动：机器生成文本的检测器在未经训练的新生成器输出上将表现如何？我们首先从广泛的LLMs收集生成数据，并在每个生成器的数据上训练神经检测器，并在留出的生成器上测试其性能。尽管没有任何检测器能泛化到所有生成器，我们观察到一致且有趣的模式：在中等规模LLM数据上训练的检测器可零样本泛化到更大版本。作为一个具体应用，我们展示了可基于中等规模模型训练数据的集成构建鲁棒检测器。
引用
@article{arxiv.2310.05165,
title = {On the Zero-Shot Generalization of Machine-Generated Text Detectors},
author = {Xiao Pu and Jingyu Zhang and Xiaochuang Han and Yulia Tsvetkov and Tianxing He},
journal= {arXiv preprint arXiv:2310.05165},
year = {2023}
}