通过控制无关句子的混杂效应提升抽象摘要的忠实性
计算与语言
2024-01-22 v2 人工智能
机器学习
摘要
尽管最先进的摘要系统在生成看似流畅的摘要方面取得了令人印象深刻的进展，但事实正确性的缺失仍是一个困扰它们的问题。在本文中，我们表明事实不一致可能是由输入文本中充当混杂因子的无关部分引起的。为此，我们利用因果效应的信息论度量来量化混杂的程度，并精确量化它们如何影响摘要性能。基于我们理论结果得出的见解，我们设计了一个简单的多任务模型，在可用时利用人工标注的相关句子来控制此类混杂。关键的是，我们对混杂可能较大的数据分布给出了原则性刻画，从而需要使用人工标注的相关句子来生成事实摘要。我们的方法在 AnswerSumm \citep{fabbri2021answersumm}（一个因任务主观性导致忠实性缺失问题严重的对话摘要数据集）上比强基线提升了 20% 的忠实性分数。我们的最佳方法在取得最高忠实性分数的同时，也在 ROUGE 和 METEOR 等标准指标上取得了最先进的结果。我们通过人工评估证实了这些改进。
引用
@article{arxiv.2212.09726,
title = {Improving Faithfulness of Abstractive Summarization by Controlling Confounding Effect of Irrelevant Sentences},
author = {Asish Ghoshal and Arash Einolghozati and Ankit Arun and Haoran Li and Lili Yu and Vera Gor and Yashar Mehdad and Scott Wen-tau Yih and Asli Celikyilmaz},
journal= {arXiv preprint arXiv:2212.09726},
year = {2024}
}