Context-DPO：面向上下文忠实性的语言模型对齐
计算与语言
2024-12-23 v1 人工智能
信息检索
摘要
可靠的大语言模型(LLM)响应需要遵循用户指令和检索信息。虽然对齐技术有助于LLM符合人类意图与价值观，但通过对齐提高上下文忠实性仍受到 insufficient 关注。为此，我们提出了 Context-DPO，是首个专为增强LLM上下文忠实性而设计的对齐方法。我们引入了 ConFiQA 一个基准，模拟检索增强生成(RAG)场景，包含知识冲突以评估上下文忠实性。通过利用 ConFiQA 中对提供上下文问题的忠实且顽固响应，我们通过直接偏好优化对LLM进行对齐。大量实验表明，Context-DPO显著提高了上下文忠实性，在流行开源模型上实现了 35%至 280%的改进。进一步分析显示，Context-DPO在保持LLM生成能力的同时，提供了对上下文利用的可解释见解。我们的代码和数据已发布于 https://github.com/byronBBL/Context-DPO
引用
@article{arxiv.2412.15280,
title = {Context-DPO: Aligning Language Models for Context-Faithfulness},
author = {Baolong Bi and Shaohan Huang and Yiwei Wang and Tianchi Yang and Zihan Zhang and Haizhen Huang and Lingrui Mei and Junfeng Fang and Zehao Li and Furu Wei and Weiwei Deng and Feng Sun and Qi Zhang and Shenghua Liu},
journal= {arXiv preprint arXiv:2412.15280},
year = {2024}
}