利用领域条件互信息缓解生成式摘要中的幻觉

生成式摘要的一个主要挑战是幻觉——即模型生成源文本中不存在的看似合理文本的现象。我们假设源文本的领域（或主题）触发了模型生成在该领域内具有高概率的文本，从而忽略了源文本的细节。为了缓解这种模型偏差，我们引入了一种基于领域条件逐点互信息的解码策略。该策略通过将每个 token 的生成概率与其在源文本领域内的边缘概率进行比较，从而调整该 token 的生成概率。根据在 XSUM 数据集上的评估，我们的方法在忠实度和源相关性方面展现出提升。代码公开于 \url{https://github.com/qqplot/dcpmi}。