基于矩阵分解的稠密检索中的静态剪枝
信息检索
2024-12-16 v1
摘要
在稠密检索时代，文档索引与检索主要基于将文本文档转换为嵌入向量的编码模型。检索效率直接与文档数量和嵌入向量大小成正比。最近的研究表明，在不牺牲甚至在某些情况下提升检索效果的前提下，可以降低嵌入向量的大小。然而，由这些研究引入的方法是查询依赖性的，因此不能离线应用，需在查询处理期间进行额外计算，从而负面影响检索效率。本文提出一种新颖的静态剪枝方法，用于使用主成分分析 (PCA) 降低嵌入向量的维度。该方法与查询无关，可离线执行，显著提升稠密检索效率，同时对系统效果影响可忽略不计。我们的实验表明，所提方法将文档表示的维度降低超过 50%，对于不同的稠密检索模型，NDCG@10 最多降低 5%。
引用
@article{arxiv.2412.09983,
title = {Static Pruning in Dense Retrieval using Matrix Decomposition},
author = {Federico Siciliano and Francesca Pezzuti and Nicola Tonellotto and Fabrizio Silvestri},
journal= {arXiv preprint arXiv:2412.09983},
year = {2024}
}