面向检索增强生成的通用指令遵循对齐
计算与语言
2024-10-15 v1 人工智能
信息检索
机器学习
摘要
遵循自然指令对于检索增强生成（RAG）系统的有效应用至关重要。尽管近期在大型语言模型（LLM）方面取得了进展，但关于评估和改进 RAG 领域指令遵循（IF）对齐的研究仍有限。为此，我们提出了 VIF-RAG，这是一个自动化、可扩展且可验证的 RAG 系统指令遵循对齐的合成管道。我们首先手动构建一个最小指令集合（<100）并开发组合规则来合成和验证种子集的复杂指令。随后，我们使用监督模型进行指令重写，同时生成 Python 代码自动验证指令质量。最后，我们将这些指令与广泛的 RAG 和通用数据样本集成，通过自动化流程将其扩展到高质量的 VIF-RAG-QA 数据集（>100k）。为进一步弥合 RAG 系统指令遵循自动评估的差距，我们引入了 FollowRAG 基准测试，涵盖约 3K 个测试样本，覆盖 22 类通用指令约束和四个知识密集型 QA 数据集。由于其稳健的管道设计，FollowRAG 可以无缝集成到不同的 RAG 基准测试中。我们使用 FollowRAG 和八个广泛使用的 IF 和基础能力基准测试，对 LLM 进行评估，表明 VIF-RAG 在广泛的通用指令约束下显著提升了 LLM 在 RAG 场景中性能。进一步的分析提供了实现 RAG 系统 IF 对齐的实用见解。我们的代码和数据集已发布于 https://FollowRAG.github.io。
引用
@article{arxiv.2410.09584,
title = {Toward General Instruction-Following Alignment for Retrieval-Augmented Generation},
author = {Guanting Dong and Xiaoshuai Song and Yutao Zhu and Runqi Qiao and Zhicheng Dou and Ji-Rong Wen},
journal= {arXiv preprint arXiv:2410.09584},
year = {2024}
}
备注
Working in progress