大语言模型是强零样本检索器
计算与语言
2023-08-03 v2 信息检索
摘要
在本工作中,我们提出一种简单方法,将大语言模型(LLM)应用于零样本场景下的规模化检索。我们的方法,即作为检索器的大语言模型(Language language model as Retriever, LameR),除 LLM 外不依赖其他神经模型,同时打破了检索器与 LLM 的暴力组合,并将零样本检索的性能提升至在基准数据集上极具竞争力的水平。本质上,我们提出通过以查询及其领域内候选构成的提示来 prompting LLM,以用其潜在答案扩充查询。这些候选无论正确与否,均由对目标集合的朴素检索过程获得。作为提示的一部分,它们可能通过模式模仿或候选摘要帮助 LLM 生成更精确的答案。即便所有候选均错误,这些提示至少使 LLM 意识到集合内的模式与体裁。此外,由于自监督检索器性能较低,基于 LLM 的查询扩充因检索器成为整个流程瓶颈而效果减弱。因此,我们提议利用基于非参数词典的方法(如 BM25)作为检索模块,以字面方式捕获查询-文档重叠。如此,LameR 使检索过程对 LLM 透明,从而规避性能瓶颈。
引用
@article{arxiv.2304.14233,
title = {Large Language Models are Strong Zero-Shot Retriever},
author = {Tao Shen and Guodong Long and Xiubo Geng and Chongyang Tao and Tianyi Zhou and Daxin Jiang},
journal= {arXiv preprint arXiv:2304.14233},
year = {2023}
}
备注
Work in progress