PGT：面向开放书本问答的检索增强生成模型少样本域自适应
机器学习
2023-07-27 v2
摘要
我们提出一个框架——提示、生成、训练（PGT）——以高效开发用于专有文本文档集合上开放书本问答的生成式问答模型。该框架在少样本设定下，使用监督微调与带合成反馈的强化学习，将检索增强生成（RAG）模型适配到目标域。我们假设，这将产生一个对齐、不确定性校准的模型，在以更低服务成本生成相关答案方面可与基于 GPT-4 的上下文检索增强生成竞争。该框架的合成生成流水线将使用开源 LLM 与一种新颖一致性过滤方案生成包含 <段落, 问题, 答案> 元组的合成训练数据。该流水线将被设计用于生成跨越整个语料的抽象式与抽取式问题。该框架提出在合成数据集上微调由稠密检索器（ColBERTv2）与较小尺寸 LLM 组成的较小 RAG 模型。同时，该框架将训练一个奖励模型，利用对合成组装样本的先验相关性排序，对领域依据答案打出高于幻觉答案的分数。在下一阶段，该框架将使用强化学习（近端策略优化）将 RAG 模型与目标域对齐。此步骤可提升 RAG 模型生成依据答案并忽略域外问题的能力。在最后阶段，该框架将校准模型对抽取式问答的不确定性。
引用
@article{arxiv.2307.05915,
title = {Prompt Generate Train (PGT): Few-shot Domain Adaption of Retrieval Augmented Generation Models for Open Book Question-Answering},
author = {C. S. Krishna},
journal= {arXiv preprint arXiv:2307.05915},
year = {2023}
}
备注
10