MULTITuDE：大规模多语言机器生成文本检测基准
计算与语言
2024-06-11 v1 人工智能
摘要
近期 LLM 生成英语以外语言令人信服文本的能力，以及多语言环境下机器生成文本检测器的性能，尚缺乏研究。现有基准也反映出这一点：其缺乏英语以外的真实文本，且主要覆盖较旧的生成器。为填补此空白，我们引入 MULTITuDE，一个新颖的多语言机器生成文本检测基准数据集，包含由 8 个多语言 LLM 生成的 11 种语言（ar、ca、cs、de、en、es、nl、pt、ru、uk 和 zh）的 74,081 篇真实与机器生成文本。利用该基准，我们比较了零样本（统计与黑盒）与微调检测器的性能。考虑多语言性，我们评估了 1）这些检测器如何泛化至未见语言（语言相似与不相似）与未见 LLM，以及 2）当在多种语言上训练时检测器性能是否提升。
引用
@article{arxiv.2310.13606,
title = {MULTITuDE: Large-Scale Multilingual Machine-Generated Text Detection Benchmark},
author = {Dominik Macko and Robert Moro and Adaku Uchendu and Jason Samuel Lucas and Michiharu Yamashita and Matúš Pikuliak and Ivan Srba and Thai Le and Dongwon Lee and Jakub Simko and Maria Bielikova},
journal= {arXiv preprint arXiv:2310.13606},
year = {2024}
}