用于生成事实不一致摘要以提升事实一致性检测的掩码摘要方法
计算与语言
2022-05-05 v1
摘要
尽管抽象式摘要系统近期取得了进展，仍难以判断生成的摘要是否与源文本事实一致。为此，最新方法是基于事实一致与不一致的摘要训练一个事实一致性分类器。幸运的是，前者作为现有摘要数据集中的参考摘要易于获得。然而，后者的生成仍具挑战，因为它们需要事实不一致，但又与源文本密切相关才有效。在本文中，我们提出使用源文本和参考摘要并通过掩码关键信息来生成事实不一致的摘要。在七个基准数据集上的实验表明，使用我们方法生成的摘要训练的事实一致性分类器通常优于现有模型，并显示出与人工判断有竞争力的相关性。我们还分析了使用我们方法生成的摘要的特征。我们将在 https://github.com/hwanheelee1993/MFMA 发布预训练模型与代码。
引用
@article{arxiv.2205.02035,
title = {Masked Summarization to Generate Factually Inconsistent Summaries for Improved Factual Consistency Checking},
author = {Hwanhee Lee and Kang Min Yoo and Joonsuk Park and Hwaran Lee and Kyomin Jung},
journal= {arXiv preprint arXiv:2205.02035},
year = {2022}
}
备注
NAACL 2022 Findings