面向抽象摘要的忠实性感知解码策略
计算与语言
2023-03-07 v1 人工智能
机器学习
摘要
尽管在理解和改进抽象摘要的忠实性方面取得了显著进展，关于解码策略如何影响忠实性的研究仍较少。我们对束搜索与核采样等生成技术在抽象摘要忠实性上的影响进行了系统研究。我们发现一个一致趋势：大束宽度的束搜索产生最忠实的摘要，而核采样生成最不忠实的摘要。我们提出两种忠实性感知生成方法，以在当前生成技术基础上进一步改进忠实性：(1) 使用自动忠实性度量对束搜索生成的候选重排序；(2) 引入前瞻启发式，对未来摘要给出忠实性分数。我们表明，在四个自动忠实性度量和人工评估下，两种生成方法在两个数据集上均显著改进了忠实性。为降低计算成本，我们展示了一个简单的蒸馏方法，使模型仅通过贪心解码即可生成忠实摘要。我们的代码公开于 https://github.com/amazon-science/faithful-summarization-generation
引用
@article{arxiv.2303.03278,
title = {Faithfulness-Aware Decoding Strategies for Abstractive Summarization},
author = {David Wan and Mengwen Liu and Kathleen McKeown and Markus Dreyer and Mohit Bansal},
journal= {arXiv preprint arXiv:2303.03278},
year = {2023}
}
备注
EACL 2023 (17 pages)