中文

BBC:基于存储桶的结果收集器提高大规模 k 近邻搜索效率

数据库 2026-05-05 v2 数据结构与算法

摘要

尽管近似最近邻搜索 (ANN) 已被广泛研究,但旨在检索大量最近邻的大规模 k 查询仍未得到充分关注,尽管其大量实际应用。现有 ANN 方法在此类查询上表现显著下降。本文首先研究了基于量化的 ANN 索引性能下降原因:(1) 现有 top-k 收集器效率低下,导致候选人维护开销大;(2) 量化方法的修剪效果减弱,导致代价高昂的重新排序过程。为解决此问题,我们提出一种新型基于存储桶的结果收集器 (BBC),增强现有基于量化的 ANN 索引处理大规模 k 查询的效率。BBC 引入两个关键组件:(1) 基于查询距离将候选人组织到存储桶中的结果缓冲区。此设计降低了排序成本,提高了缓存效率,实现对候选超集的高性能维护和轻量级的最终 top-k 结果选择。(2) 针对不同类型的量化方法,设计两个重新排序算法,通过减少需要重新排序的候选对象数量或缓存丢失来加速其重新排序过程。大量实验在真实数据集上表明,BBC 在召回率为 0.95 时,可将现有基于量化的 ANN 方法加速最高达 3.8 倍,以满足大规模 k 查询需求。

关键词

引用

@article{arxiv.2604.01960,
  title  = {BBC: Improving Large-k Approximate Nearest Neighbor Search with a Bucket-based Result Collector},
  author = {Ziqi Yin and Gao Cong and Kai Zeng and Jinwei Zhu and Bin Cui},
  journal= {arXiv preprint arXiv:2604.01960},
  year   = {2026}
}