通过事实一致性模型学习生成带引用的答案
计算与语言
2024-07-16 v2
摘要
大型语言模型（LLMs）经常产生幻觉，这阻碍了它们在关键任务场景中的可靠性。解决此问题的一种方法是在生成内容的同时提供相关来源的引用，以增强生成内容的可验证性。然而，在答案中准确引用段落仍然是一个重大挑战。本文提出了一种利用事实一致性模型（FCMs）的弱监督微调方法。我们的方法交替进行带引用的文本生成和使用 FCM 过滤的引用数据进行监督微调。我们将聚焦学习整合到目标中，指导微调过程强调由 FCM 衡量的事实单元标记。在 ALCE 少样本引用基准上，使用各种指令微调的 LLMs 进行实验，结果表明，与上下文学习、普通监督微调和最先进方法相比，我们的方法具有优越的性能，引用 F₁ 分数平均分别提高了 34.1、15.5 和 10.5 个点。此外，在领域迁移设置中，我们表明所获得的引用生成能力能够稳健地迁移到未见过的数据集。值得注意的是，我们的引用改进有助于在所有基线中实现最低的事实错误率。
引用
@article{arxiv.2406.13124,
title = {Learning to Generate Answers with Citations via Factual Consistency Models},
author = {Rami Aly and Zhiqiang Tang and Samson Tan and George Karypis},
journal= {arXiv preprint arXiv:2406.13124},
year = {2024}
}
备注
Accepted to ACL 2024. Code is available at https://github.com/amazon-science/learning-to-generate-answers-with-citations