面向维基百科的任务特定机器生成文本检测基准——WETBench
计算与语言
2025-07-08 v1
摘要
鉴于维基百科作为高质量可靠内容的权威来源的作用，关于大语言模型( LLM)在其平台上产生的低质量机器生成文本( MGT)的扩散问题日益引人关注。因此，对MGT的可靠检测至关重要。然而，现有工作主要在通用生成任务上评估MGT检测器，而非更常由维基百科编辑者执行的任务。这一误差可能导致在实际维基百科情境中应用时表现不佳。我们引入WETBench，一个多语言、多生成器、针对任务的MGT检测基准。我们定义了三个编辑任务，这些任务在维基百科编辑者感知的LLM辅助编辑用例中得到实践：段落编写、概述和文本风格迁移，我们使用两个在三个语言中实现的新数据集来实现这些任务。对于每个写作任务，我们评估三个提示，使用最佳-performing的提示在多个生成器上生成MGT，并对多样化的检测器进行基准测试。我们发现，在各种设置下，基于训练的检测器平均准确率为78%，而零样本检测器平均为58%。这些结果表明，在真实的生成情境中，检测器在MGT方面的表现仍有不足，凸显了在以编辑者为导向的情境中评估此类模型可靠性的重要性。
引用
@article{arxiv.2507.03373,
title = {WETBench: A Benchmark for Detecting Task-Specific Machine-Generated Text on Wikipedia},
author = {Gerrit Quaremba and Elizabeth Black and Denny Vrandečić and Elena Simperl},
journal= {arXiv preprint arXiv:2507.03373},
year = {2025}
}