减少抽象式摘要中的数量幻觉
计算与语言
2020-09-29 v1
摘要
众所周知，抽象式摘要容易出现幻觉——即包含原文本不支持的内容。虽然通过限制为通用短语可使摘要无幻觉，但此类摘要信息量不足。另一种方法是尝试通过验证摘要中的任何具体实体在原文本相似语境中出现来避免幻觉。我们的系统 Herman 采用了这一思路。该系统学习识别并验证由最先进模型生成的 beam 内抽象式摘要中的数量实体（日期、数字、金额等），以提升那些数量项得到原文本支持的摘要的排序。实验结果表明，此类提升排序后的摘要的 ROUGE 分数相比未提升的摘要在 Precision 上更高，且 Recall 无相应损失，从而 F 更高。对提升后与原摘要素的人类初步评估显示人们偏好前者。
引用
@article{arxiv.2009.13312,
title = {Reducing Quantity Hallucinations in Abstractive Summarization},
author = {Zheng Zhao and Shay B. Cohen and Bonnie Webber},
journal= {arXiv preprint arXiv:2009.13312},
year = {2020}
}
备注
Accepted to Findings of EMNLP 2020