改进检索增强生成（RAG）模型在开放域问答中的领域自适应
计算与语言
2024-10-08 v1 人工智能
信息检索
摘要
检索增强生成（RAG）是开放域问答（ODQA）近期的一项进展。RAG仅以基于Wikipedia的外部知识库进行训练和探索，并未针对医疗和新闻等其他专业领域进行优化。本文中，我们评估了为ODQA中的领域自适应任务联合训练RAG的检索器与生成器组件的影响。我们提出了RAG的扩展版\textit{RAG-end2end}，其可通过在训练中更新外部知识库的所有组件来适应特定领域知识库。此外，我们引入了一种辅助训练信号以注入更多领域特定知识。该辅助信号迫使\textit{RAG-end2end}通过访问外部知识库中的相关信息来重构给定句子。我们的新颖贡献在于，不同于RAG，RAG-end2end针对端到端QA任务和领域自适应进行了检索器与生成器的联合训练。我们使用来自三个领域的数据集——COVID-19、新闻和对话——评估了我们的方法，并相比原始RAG模型取得了显著的性能提升。我们的工作已通过Huggingface Transformers库开源，印证了我们工作的可信性与技术一致性。
关键词
引用
@article{arxiv.2210.02627,
title = {Improving the Domain Adaptation of Retrieval Augmented Generation (RAG) Models for Open Domain Question Answering},
author = {Shamane Siriwardhana and Rivindu Weerasekera and Elliott Wen and Tharindu Kaluarachchi and Rajib Rana and Suranga Nanayakkara},
journal= {arXiv preprint arXiv:2210.02627},
year = {2024}
}
备注
This paper is awaiting publication at Transactions of the Association for Computational Linguistics. This is a pre-MIT Press publication version. For associated huggingface transformers code, see https://github.com/huggingface/transformers/tree/main/examples/research_projects/rag-end2end-retriever