何时检索：教导 LLM 有效利用信息检索
计算与语言
2024-05-08 v2 信息检索
摘要
本文展示了如何使大型语言模型（LLM）能够有效地学习使用面向问题解答的即插即用信息检索（IR）系统。鉴于 IR 系统的性能，最佳的问答策略并不总是需要外部信息检索——而往往是利用 LLM 本身的参数记忆。先前的研究在 PopQA 数据集中已识别了这一现象，其中最受欢迎的问题可通过 LLM 的参数记忆有效解答，而较不受欢迎的问题则需要 IR 系统的使用。基于此，我们提出了为 LLM 量身定制的训练方法，利用现有的开放域问答数据集进行训练。此时，LLM 在不知道问题答案时生成特殊标记 <RET>。我们对适应性检索 LLM（Adapt-LLM）在 PopQA 数据集上的评估显示，其优于同一 LLM 的三种配置：（i）为所有问题检索信息，（ii）始终使用 LLM 的参数记忆，（iii）使用受欢迎程度阈值决定是否使用检索器。通过我们的分析，我们展示了 Adapt-LLM 能够在确定自己不知道如何解答问题时生成 <RET> 标记，从而指示需要 IR，而在选择仅依赖参数记忆时实现了显著的高准确率。
引用
@article{arxiv.2404.19705,
title = {When to Retrieve: Teaching LLMs to Utilize Information Retrieval Effectively},
author = {Tiziano Labruna and Jon Ander Campos and Gorka Azkune},
journal= {arXiv preprint arXiv:2404.19705},
year = {2024}
}