基于回溯的校正可降低摘要中的幻觉
计算与语言
2024-09-05 v3 人工智能
摘要
抽取式摘要旨在生成源文档的简洁自然语言摘要，同时保留重要元素。尽管近期取得进展，神经文本摘要模型已知容易产生幻觉（或更准确地说虚构），即生成包含源文档中无依据的细节的摘要。在本文中，我们引入一种简单而高效的技术CoBa，以减少抽象式摘要中的幻觉。该方法基于两步：幻觉检测与缓解。我们表明前者可通过测量关于条件词概率和与上下文词距离的简单统计量来实现。此外，我们证明直接的回溯在缓解方面出奇地有效。我们在三个文本摘要基准数据集上用已有方法与所提方法进行了充分评估。结果表明CoBa在减少幻觉方面高效且有效，并提供了极佳的适应性与灵活性。代码见https://github.com/zhenzhel/CoBa。
引用
@article{arxiv.2310.16176,
title = {Correction with Backtracking Reduces Hallucination in Summarization},
author = {Zhenzhen Liu and Chao Wan and Varsha Kishore and Jin Peng Zhou and Minmin Chen and Kilian Q. Weinberger},
journal= {arXiv preprint arXiv:2310.16176},
year = {2024}
}