适用于多领域检索增强生成的大语言模型适应方法
计算与语言
2025-04-04 v1
摘要
检索增强生成（RAG）通过提升大语言模型的事实性，但在多领域应用中面临诸多挑战，如缺乏多样化基准数据集和较差的跨域泛化能力。本文的第一项贡献是引入一个多样化的基准数据集，包含来自8个来源、覆盖13个领域的多种问答任务。我们的第二项贡献在于系统性地测试了典型RAG微调策略的跨域泛化表现。尽管我们的发现表明标准微调无法有效实现泛化，但我们展示了通过教师生成标签进行序列级蒸馏可提升跨域性能，因其提供了更连贯的监督信号。我们的研究揭示了提高多领域RAG鲁棒性的关键策略。
引用
@article{arxiv.2504.02411,
title = {Adapting Large Language Models for Multi-Domain Retrieval-Augmented-Generation},
author = {Alexandre Misrahi and Nadezhda Chirkova and Maxime Louis and Vassilina Nikoulina},
journal= {arXiv preprint arXiv:2504.02411},
year = {2025}
}
备注
25 pages, 8 figures, 21 tables