DeeperImpact: 优化稀疏学习型索引结构
信息检索
2024-07-09 v2
摘要
近期大量工作聚焦于稀疏学习型索引，这类索引利用深度神经架构在保持倒排索引效率优势的同时，显著提升了检索质量。尽管此类稀疏学习型结构的有效性远超传统基于倒排索引的排序器，但其与最佳稠密检索器之间仍存在有效性差距，甚至不如采用查询扩展和查询词加权等更昂贵优化方法的稀疏方法。我们通过重新审视并优化DeepImpact来缩小这一差距。DeepImpact是一种稀疏检索方法，它使用DocT5Query进行文档扩展，随后利用BERT语言模型学习文档词的影响分数。我们首先重新研究了扩展过程，发现近期提出的Doc2Query——查询过滤在与DeepImpact结合使用时并未提升检索质量。相反，用微调后的Llama 2模型替代T5进行查询预测带来了显著的改进。随后，我们研究了已被证明对其他模型有效的训练策略，特别是使用难负样本、知识蒸馏以及预训练的CoCondenser模型初始化。我们的结果显著缩小了与最有效版本SPLADE之间的有效性差距。
引用
@article{arxiv.2405.17093,
title = {DeeperImpact: Optimizing Sparse Learned Index Structures},
author = {Soyuj Basnet and Jerry Gou and Antonio Mallia and Torsten Suel},
journal= {arXiv preprint arXiv:2405.17093},
year = {2024}
}