利用大语言模型进行无监督稠密检索器排序

本文提出了大语言模型辅助检索模型排序（LARMOR），这是一种有效的无监督方法，利用大语言模型（LLMs）选择在测试语料库（目标）上使用哪个稠密检索器。稠密检索器选择对于许多信息检索（IR）应用至关重要，这些应用依赖于使用在公共语料库上训练的稠密检索器来编码或搜索新的私有目标语料库。这是因为当面临领域偏移时，即目标语料库的下游语料库、领域或任务与训练稠密检索器的领域/任务不同时，其性能往往会下降。此外，当目标语料库未标记时（例如在零样本场景中），直接在目标语料库上评估模型变得不可行。因此，无监督地选择最有效的预训练稠密检索器成为一个关键挑战。现有的稠密检索器选择方法在处理领域偏移场景方面尚显不足。我们提出的解决方案利用 LLMs 基于从目标语料库中采样的一组文档生成伪相关查询、标签和参考列表。然后根据稠密检索器在这些生成的伪相关信号上的有效性对其进行排序。值得注意的是，我们的方法是第一种仅依赖目标语料库的方法，消除了对训练语料库和测试标签的需求。为了评估我们方法的有效性，我们构建了一个包含最先进稠密检索器的大型池。所提出的方法在稠密检索器选择和排序方面均优于现有基线。我们的代码和结果已在 https://github.com/ielab/larmor/ 公开。