面向受限数据源的渐进式查询扩展
信息检索
2024-06-12 v1
摘要
查询扩展长期用于提高查询检索器的准确性。早期方法依赖伪相关反馈（PRF）技术，通过从检索的文档中提取术语来扩展查询。然而，文档可能包含噪声，阻碍排序效果。为避免这一问题，近期研究改用大型语言模型（LLM）生成额外内容以扩展查询。这些技术容易产生幻觉，并且也关注LLM使用成本。然而，在许多实际场景中，成本主要来自通过API检索文档——该API按检索文档收取费用。我们提出将经典PRF技术与LLM结合，创建一种渐进式查询扩展算法ProQE，该算法在检索更多文档时逐步扩展查询。ProQE兼容稀疏检索和稠密检索系统。我们的实验结果表明，ProQE在四个检索数据集上超越最先进的基线方法37%，且最具成本效益。
引用
@article{arxiv.2406.07136,
title = {Progressive Query Expansion for Retrieval Over Cost-constrained Data Sources},
author = {Muhammad Shihab Rashid and Jannat Ara Meem and Yue Dong and Vagelis Hristidis},
journal= {arXiv preprint arXiv:2406.07136},
year = {2024}
}