伪相关反馈足以弥合小型与大型稠密检索模型之间的差距
信息检索
2025-06-09 v2 机器学习
摘要
将稠密检索器扩展到更大的大型语言模型 (LLM) Backbone 是提高检索有效性的主导策略，但这具有重大的成本影响：更大的 Backbone 需要更昂贵的硬件（例如更多内存的 GPU），并导致更高的索引和查询成本（延迟、能源消耗）。本文挑战了这一范式，通过引入 PromptPRF，一种基于特征的伪相关反馈 (PRF) 框架，使小型 LLM 稠密检索器能够实现与大型模型相当的有效性。PromptPRF 使用 LLM 从 top-ranked 文档中提取查询无关的、结构化和非结构化特征（例如实体、摘要、链律思考关键词、文章），这些特征在离线生成后通过提示集成到稠密查询表示中，从而在无需额外训练的情况下实现高效检索。与先前方法如 GRF 不同，后者依赖于在线、查询特定的生成和稀疏检索，PromptPRF 解耦了反馈生成与查询处理，支持稠密检索器在完全零-shot 设置下工作。在 TREC DL 和 BEIR 基准测试中进行实验，结果表明 PromptPRF 持续改善检索有效性，并在成本效益方面表现出 favorable 的权衡。我们进一步进行了消融研究，以了解位置反馈的作用并分析特征提取器大小、PRF 深度与模型性能之间的相互作用。我们的发现表明，通过有效的 PRF 设计，扩大检索器并非总是必要的，缩小了小型与大型模型之间的差距，同时降低了推理成本。
引用
@article{arxiv.2503.14887,
title = {Pseudo Relevance Feedback is Enough to Close the Gap Between Small and Large Dense Retrieval Models},
author = {Hang Li and Xiao Wang and Bevan Koopman and Guido Zuccon},
journal= {arXiv preprint arXiv:2503.14887},
year = {2025}
}