SSFO：基于自监督忠诚度优化的检索增强生成
计算与语言
2025-10-07 v2 人工智能
摘要
检索增强生成（RAG）系统需要大型语言模型（LLM）生成与检索上下文忠实的响应。然而，忠诚度幻觉仍是一个关键挑战，因为现有方法通常需要高成本的监督和后训练或显著的推理负担。为克服这些限制，我们引入了自监督忠诚度优化（SSFO），这是一种首次用于提升 RAG 忠诚度的自监督对齐方法。SSFO 通过对比模型在有上下文和无上下文生成的输出来构建偏好数据对。利用直接偏好优化（DPO），SSFO 在不产生标签成本或额外推理负担的情况下提升了模型的忠诚度。我们在理论和经验上表明，SSFO 利用一种良性的似然性位移，将参数化 token 的概率质量转移到与上下文对齐的 token 上。基于这一洞察，我们提出了修改后的 DPO 损失函数，以鼓励似然性位移。全面评估显示，SSFO 显著优于现有方法，在多个基于上下文的问答数据集上实现了最先进的忠诚度。值得注意的是，SSFO 在跨语言忠诚度方面表现出强大的泛化能力，并保留了通用指令遵循能力。我们在匿名链接 https://github.com/chkwy/SSFO 上发布了代码和模型。
引用
@article{arxiv.2508.17225,
title = {SSFO: Self-Supervised Faithfulness Optimization for Retrieval-Augmented Generation},
author = {Xiaqiang Tang and Yi Wang and Keyu Hu and Rui Xu and Chuang Li and Weigao Sun and Jian Li and Sihong Xie},
journal= {arXiv preprint arXiv:2508.17225},
year = {2025}
}
备注
Working in progress