BRIDO：将民主原则引入抽象摘要生成
计算与语言
2025-02-26 v1 机器学习
摘要
幻觉指的是来自大型语言模型（LLM）生成的不准确、无关或不一致的文本。尽管 LLM 在各种任务中显示出巨大的潜力，但幻觉问题仍是许多实际应用中的主要挑战。本文我们通过减轻暴露偏差来解决抽象文本摘要中的幻觉问题。现有针对暴露偏差缓解的模型（如 BRIO）旨在提高 ROUGE 分数的摘要质量。我们提出一种方法，采用类似的暴露偏差缓解策略，但目标与减少幻觉相吻合。我们推断，在一组候选输出中，包含幻觉内容的候选答案将占据少数。也就是说，与其他候选答案差异较大的候选答案更可能包含幻觉内容。我们的方法利用这一点，利用对比学习来激励候选答案具有高的候选间 ROUGE 分数。我们在 XSum 和 CNN/DM 摘要数据集上进行实验，我们的方法在一致性 G-Eval 分数上分别比 BRIO 提升了 6.25% 和 3.82%。
引用
@article{arxiv.2502.18342,
title = {BRIDO: Bringing Democratic Order to Abstractive Summarization},
author = {Junhyun Lee and Harshith Goka and Hyeonmok Ko},
journal= {arXiv preprint arXiv:2502.18342},
year = {2025}
}
备注
13 pages, 1 figure; AAAI-25 Workshop on PDLM camera ready