PRCA：通过可插拔奖励驱动上下文适配器适配黑盒大语言模型用于检索问答
计算与语言
2023-10-31 v1
摘要
检索问答（ReQA）任务采用由检索器与生成器组成的检索增强框架。生成器基于检索器检索的文档拟定答案。将大语言模型（LLM）作为生成器因其先进的 QA 能力而有益，但它们通常过大而无法在预算限制下微调，且其中部分仅可通过 API 访问。为解决此问题并进一步提升 ReQA 性能，我们提出可训练的 Pluggable Reward-Driven Contextual Adapter（PRCA），将生成器保持为黑盒。PRCA 以可插拔方式位于检索器与生成器之间，通过最大化强化学习阶段的奖励，以词元自回归策略精炼检索到的信息。我们的实验验证了 PRCA 在三个数据集上提升 ReQA 性能的有效性，相较将黑盒 LLM 适配现有框架有高达 20% 的改进，展示了其在 LLM 时代的巨大潜力。
引用
@article{arxiv.2310.18347,
title = {PRCA: Fitting Black-Box Large Language Models for Retrieval Question Answering via Pluggable Reward-Driven Contextual Adapter},
author = {Haoyan Yang and Zhitao Li and Yong Zhang and Jianzong Wang and Ning Cheng and Ming Li and Jing Xiao},
journal= {arXiv preprint arXiv:2310.18347},
year = {2023}
}
备注
Accepted by the Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing. (EMNLP2023)