稀疏神经检索器上的静态剪枝研究
信息检索
2023-04-26 v1
摘要
稀疏神经检索器，如 DeepImpact、uniCOIL 和 SPLADE，近年来被提出作为利用倒排索引进行检索的高效且有效的方式。它们旨在学习词项重要性，并在某些情况下进行文档扩展，以提供比 BM25 等传统词袋检索模型更有效的文档排序。然而，与经典方法相比，这些稀疏神经检索器已被证明增加了查询处理的计算成本与延迟。为缓解此问题，我们应用了一类众所周知的用于提升倒排索引上查询处理效率的技术：静态剪枝。我们尝试了三种静态剪枝策略，即文档中心式、词项中心式和无关式剪枝，并在多个数据集上评估发现这些技术仍适用于稀疏神经检索器。特别地，静态剪枝可实现 加速且有效性损失可忽略（ 下降），并且根据用例不同，甚至可实现 加速且对有效性影响极小（ 下降）。此外，我们表明神经重排序器对来自静态剪枝索引的候选结果具有鲁棒性。
引用
@article{arxiv.2304.12702,
title = {A Static Pruning Study on Sparse Neural Retrievers},
author = {Carlos Lassance and Simon Lupart and Hervé Dejean and Stéphane Clinchant and Nicola Tonellotto},
journal= {arXiv preprint arXiv:2304.12702},
year = {2023}
}
备注
Short accepted at SIGIR 2023. Has extra content in the Appendix that is not present in the ACM version