由稀疏词法检索引导的基于 LSTM 的选择性密集文本检索
信息检索
2025-02-18 v1
摘要
本文研究了密集检索与稀疏词法检索的快速融合，并提出了一种由稀疏词法检索引导的、基于聚类的选择性密集检索方法，称为 CluSD。CluSD 采用轻量级的基于聚类的方法，在带有 LSTM 模型的两阶段选择过程中，利用稀疏检索结果与嵌入聚类之间的重叠，在产生有限额外内存空间开销的同时快速识别相关聚类。CluSD 在需要时触发部分密集检索并执行基于聚类的块磁盘 I/O。本文评估了 CluSD，并将其与几个基线方法在内存和磁盘上搜索 MS MARCO 和 BEIR 数据集的表现进行了比较。
引用
@article{arxiv.2502.10639,
title = {LSTM-based Selective Dense Text Retrieval Guided by Sparse Lexical Retrieval},
author = {Yingrui Yang and Parker Carlson and Yifan Qiao and Wentai Xie and Shanxiu He and Tao Yang},
journal= {arXiv preprint arXiv:2502.10639},
year = {2025}
}
备注
This paper is accepted by ECIR'25