弥合检索器与大语言模型之间的偏好差距
计算与语言
2024-02-22 v2
摘要
大语言模型（LLMs）在广泛的任务中展现了卓越的结果，而检索增强生成（RAG）是一种通过定位相关信息并将其放入 LLM 的上下文窗口来增强性能的有效方法。然而，在 RAG 中，检索器与 LLM 之间的关系仍未得到充分研究。现有大多数工作将检索器和 LLM 视为独立的组件，并在检索人类“友好”信息与组装 LLM“友好”上下文之间留下了差距。在这项工作中，我们研究了一种新颖的桥接机制。我们在 RAG 的背景下验证了检索器的排序和选择假设，并提出了一个将监督学习和强化学习链接起来的框架，以训练一个桥接模型，该模型优化了检索器与 LLM 之间的连接。实证结果证明了我们的方法在问答和个性化生成任务中的有效性。
引用
@article{arxiv.2401.06954,
title = {Bridging the Preference Gap between Retrievers and LLMs},
author = {Zixuan Ke and Weize Kong and Cheng Li and Mingyang Zhang and Qiaozhu Mei and Michael Bendersky},
journal= {arXiv preprint arXiv:2401.06954},
year = {2024}
}