LIRA：面向大规模 ANN 检索的基于学习的查询感知分区框架
信息检索
2025-04-01 v1 数据库
摘要
近邻搜索是信息检索中的基本任务。以往的分区基方法通过探测部分分区来提升搜索效率，但面临两个常见问题。首先，在查询阶段，常用的策略是根据查询到分区质心距离排名来探测分区，这会忽略数据分布，导致探测无关分区。其次，在分区构建阶段，所有分区方法都面临边界问题，即将查询的最近邻划分到多个分区，从而导致长尾 kNN 分布并降低最优 nprobe（即探测分区数量）。为解决此问题，我们提出 LIRA（LearnIng-based queRy-aware pArtition framework），一个基于学习的查询感知分区框架。具体而言，我们提出一个探测模型，直接探测包含查询 k 最近邻的分区，可减少探测浪费并实现查询感知的个性化探测。此外，我们将探测模型纳入基于学习的冗余策略，以缓解长尾 kNN 分布对搜索效率的负面影响。大量实验在真实世界向量数据集上表明，LIRA 在准确率、延迟和查询 fan-out 之间的权衡方面具有优势。相关代码已公开于 https://github.com/SimoneZeng/LIRA-ANN-search。
引用
@article{arxiv.2503.23409,
title = {LIRA: A Learning-based Query-aware Partition Framework for Large-scale ANN Search},
author = {Ximu Zeng and Liwei Deng and Penghao Chen and Xu Chen and Han Su and Kai Zheng},
journal= {arXiv preprint arXiv:2503.23409},
year = {2025}
}
备注
This paper is accepted by WWW 2025