抽象摘要中抽象性与事实性之间的权衡评估
计算与语言
2023-04-26 v2
摘要
用于抽象摘要的神经模型倾向于生成流畅且结构良好的输出，但相对于输入文档缺乏语义忠实性或事实性。本文中，我们基于大量人工事实性评估，跨多个数据集与模型分析了生成摘要的抽象性与事实性之间的权衡。在我们的分析中，我们使用一种解码约束逐步提升抽象性，并可视化事实性的变化率；我们观察到，虽然抽象性的提升通常导致事实性下降，但事实性衰减的速率取决于系统所训练的数据等因素。我们引入了两个带有人类事实性判断的数据集：一个包含 10.2k 个具有系统性变化抽象程度的生成摘要；另一个包含来自五种不同摘要模型的 4.2k 个摘要。我们提出了调整抽象程度的新事实性度量，并用它们比较先前摘要工作的抽象性调整后事实性，为未来研究提供基线。
引用
@article{arxiv.2108.02859,
title = {Evaluating the Tradeoff Between Abstractiveness and Factuality in Abstractive Summarization},
author = {Markus Dreyer and Mengwen Liu and Feng Nan and Sandeep Atluri and Sujith Ravi},
journal= {arXiv preprint arXiv:2108.02859},
year = {2023}
}
备注
Accepted at EACL 2023 (Findings)