通过细粒度奖励训练语言模型生成带引用的文本

尽管近期的大型语言模型 (LLM) 在回答用户查询方面表现出实用性，但它们容易产生幻觉，且由于缺乏对可靠来源的引用，其回答往往缺乏可信度。解决这些问题的一个直观方法是在文本中包含引用外部文档作为证据。尽管先前的工作直接提示 LLM 生成文本内引用，但其表现远不能令人满意，特别是对于较小的 LLM。在这项工作中，我们提出了一个有效的训练框架，使用细粒度奖励来教导 LLM 生成高度支持且相关的引用，同时确保其回答的正确性。我们还对将细粒度奖励应用于常见 LLM 训练策略进行了系统分析，证明了其相对于常规做法的优势。我们在取自 ALCE 基准的问答 (QA) 数据集上进行了大量实验，并使用 EXPERTQA 验证了模型的泛化能力。在 LLaMA-2-7B 上，细粒度奖励的引入在所有基线中取得了最佳性能，甚至超越了 GPT-3.5-turbo。