AMRFact：基于 AMR 驱动负样本生成增强摘要事实性评估
计算与语言
2024-10-07 v3
摘要
确保事实一致性对自然语言生成任务至关重要，尤其在抽取式摘要中，保持信息完整性是首要之务。先前关于摘要事实一致性评估的工作常采用基于蕴含的方法：先生成扰动（事实不一致）摘要，再在生成数据上训练分类器以在测试时检测事实不一致。然而，以往生成扰动摘要的方法要么连贯性低，要么错误类型覆盖不足。为解决这些问题，我们提出 AMRFact，一种利用抽象意义表示（AMR）生成扰动摘要的框架。我们的方法将事实一致的摘要解析为 AMR 图，并注入受控的事实不一致以创建负例，从而生成具有高错误类型覆盖的连贯事实不一致摘要。此外，我们提出基于自然语言推理与 BARTScore 的数据选择模块 NegFilter，以确保生成负样本的质量。实验结果表明，我们的方法在 AggreFact-SOTA 基准上显著优于先前系统，展现了其在评估抽取式摘要事实性上的效力。
引用
@article{arxiv.2311.09521,
title = {AMRFact: Enhancing Summarization Factuality Evaluation with AMR-Driven Negative Samples Generation},
author = {Haoyi Qiu and Kung-Hsiang Huang and Jingnong Qu and Nanyun Peng},
journal= {arXiv preprint arXiv:2311.09521},
year = {2024}
}
备注
NAACL 2024