MAGA-Bench:基于对齐检测的机器增强生成文本基准
计算与语言
2026-05-29 v2
摘要
机器生成文本(MGT)正变得越来越难以与人类撰写文本(HWT)区分。这一趋势加剧了假新闻和在线欺诈等恶意活动。微调检测器的泛化能力严重依赖于数据集质量,而仅仅扩大 MGT 的来源可能越来越不足。需要对生成过程进行进一步的增强。基于 HC-Var 理论,增强 MGT 的人类对齐程度不仅有助于对现有检测器进行鲁棒性测试,还能提升在此类对齐 MGT 数据集上微调的检测器的泛化能力。因此,我们提出了基于对齐的机器增强生成文本(MAGA)检测基准。MAGA 集成了多种对齐方法,涵盖从提示构造到生成器-检测器对抗强化学习(GDARL)以及推理过程。在我们的实验中,在 MAGA 上微调的 RoBERTa 检测器在泛化 AUC 上平均提升了 4.60%。相反,MAGA 中对齐的 MGT 也导致所选检测器的 AUC 平均下降 8.13%。我们希望 MAGA 基准能为未来关于 MGT 检测器泛化能力的研究提供有价值的见解。
引用
@article{arxiv.2601.04633,
title = {MAGA-Bench: Machine-Augment-Generated Text via Alignment Detection Benchmark},
author = {Anyang Song and Ying Cheng and Yiqian Xu and Rui Feng},
journal= {arXiv preprint arXiv:2601.04633},
year = {2026}
}