基于支持性的知识重写用于检索增强语言模型
计算与语言
2024-10-07 v2 人工智能
摘要
检索增强语言模型 (RALM) 近期在缓解 LLM 隐式知识的局限性方面显示出巨大潜力，如最新专业知识更新滞后和长尾知识不可靠保留。然而，由于外部知识库以及检索器无法保证可靠性，可能导致检索到的知识对 LLM 生成无帮助甚至误导。在本文中，我们引入基于支持性的知识重写 (SKR)，一种专为 LLM 生成优化的鲁棒且可插拔的知识重写器。具体而言，我们提出新概念“支持性”——即知识片段对下游任务的有效性贡献——通过考虑增强知识对白盒 LLM 生成响应文本的 perplexity 影响。在知识支持性基础上，我们首先设计训练数据 curated 策略，以有效识别和过滤不良或不相关的重写 (如支持性得分较低)，以提高数据效能。随后，我们引入直接偏好优化 (DPO) 算法将生成的重写对齐到最佳支持性，从而引导重写模型总结增强内容以更好地改善最终响应。全面评估表明，SKR 在六大热门知识密集型任务和四个 LLM 上均显示出效能和优越性。仅需 7B 参数，SKR 就在知识重写能力上超越了当前最先进的通用 LLM GPT-4。
引用
@article{arxiv.2406.08116,
title = {Supportiveness-based Knowledge Rewriting for Retrieval-augmented Language Modeling},
author = {Zile Qiao and Wei Ye and Yong Jiang and Tong Mo and Pengjun Xie and Weiping Li and Fei Huang and Shikun Zhang},
journal= {arXiv preprint arXiv:2406.08116},
year = {2024}
}