基于反事实估计的文本摘要事实一致性评估
计算与语言
2021-09-09 v2
摘要
尽管文本摘要已取得显著进展，但生成摘要中的事实不一致仍严重限制其实际应用。在确保事实一致性的关键因素中，可靠的自动评估指标是首要且最关键的一环。然而，现有指标要么忽视事实不一致的内在成因，要么依赖辅助任务，导致与人工判断的相关性不佳或增加了实际使用的便利性负担。针对这些挑战，我们提出一种通过反事实估计评估文本摘要事实一致性的新指标，该指标构建了源文档、生成摘要与语言先验之间的因果关系。我们从对生成摘要的总因果效应中剔除可能导致事实不一致的语言先验效应，提供了一种简单而有效的评估一致性方法，且无需依赖其他辅助任务。我们在三个公开抽取式文本摘要数据集上进行了一系列实验，证明了所提指标在提升与人工判断相关性及使用便利性方面的优势。源代码见 https://github.com/xieyxclack/factual_coco。
引用
@article{arxiv.2108.13134,
title = {Factual Consistency Evaluation for Text Summarization via Counterfactual Estimation},
author = {Yuexiang Xie and Fei Sun and Yang Deng and Yaliang Li and Bolin Ding},
journal= {arXiv preprint arXiv:2108.13134},
year = {2021}
}
备注
Accepted by EMNLP-21