面向事实核查的原子化对抗主张评估
计算与语言
2026-04-28 v2 人工智能
摘要
对抗性主张改写在测试事实核查系统时广泛使用，但标准指标未能捕捉事实条件的一致性，常将语义被破坏的改写错误地标记为成功。我们提出AtomEval，一个 validity-aware 评估框架，将主张分解为主体-关系-客体-修饰符(SROM)原子，并通过Atomic Validity Scoring(AVS)对对抗性改写进行评分，从而检测事实破坏的现象。实验在FEVER数据集上进行，覆盖代表性的攻击策略和LLM生成器，表明AtomEval在实验中提供更可靠的评估信号。使用AtomEval，我们进一步分析了LLM-based对抗生成器，发现更强的模型并不一定在validity-aware评估下产生更有效的对抗主张，这凸显了当前对抗评估实践中的若干被忽视的局限性。
引用
@article{arxiv.2604.07967,
title = {AtomEval: Atomic Evaluation of Adversarial Claims in Fact Verification},
author = {Hongyi Cen},
journal= {arXiv preprint arXiv:2604.07967},
year = {2026}
}