面向电商领域的 Backbone 共享检索增强生成：BSharedRAG
计算与语言
2024-10-01 v1
摘要
检索增强生成 (RAG) 系统在诸如电商等领域至关重要，因为这些领域拥有大量长尾实体和频繁更新的信息。大多数现有工作为检索和生成分别采用独立模块，这种方法可能不够次佳，因为检索任务和生成任务无法相互提升以改善性能。我们提出一种新的 Backbone 共享 RAG 框架 (BSharedRAG)。它首先使用特定领域的语料库继续预训练基础模型作为特定领域的 backbone 模型，然后在共享的 backbone 上训练两个即插即用型 Low-Rank Adaptation (LoRA) 模块，分别最小化检索损失和生成损失。实验结果表明，我们提出的 BSharedRAG 在两个数据集上的检索评估中在 Hit@3 上分别优于基线模型 5% 和 13%，在生成评估中以 BLEU-3 指标提升 23%。我们的代码、模型和数据集均已公开于 https://bsharedrag.github.io。
关键词
引用
@article{arxiv.2409.20075,
title = {BSharedRAG: Backbone Shared Retrieval-Augmented Generation for the E-commerce Domain},
author = {Kaisi Guan and Qian Cao and Yuchong Sun and Xiting Wang and Ruihua Song},
journal= {arXiv preprint arXiv:2409.20075},
year = {2024}
}
备注
EMNLP 2024 findings