基于 GPU 的 IVF-RaBitQ 方法的近似最近邻搜索:快速索引构建与搜索
数据库
2026-03-02 v1 数据结构与算法
信息检索
摘要
GPU 上的近似最近邻搜索 (ANNS) 正在因现代检索和推荐工作负载而日益受到关注,这些工作负载处理大规模高维向量。基于图的索引提供高召回率和高吞吐量,但造成较大的构建时间和存储成本。相比之下,基于聚类的方法构建和扩展效率高,但往往需要大量探测以实现高召回率,这会加剧内存带宽和计算资源的压力。本文旨在同时实现快速索引构建、高吞吐搜索、高召回率和低存储需求,因此提出了 IVF-RaBitQ (GPU),这是一种集成基于聚类的 IVF 方法和 RaBitQ 量化技术的 GPU 原生 ANNS 解决方案。具体而言,对于索引构建,我们开发了一种可扩展的 GPU 原生 RaBitQ 量化方法,使其能够大规模地进行快速且准确的低位编码。对于搜索,我们开发了针对 RaBitQ 编码的 GPU 原生距离计算方案以及一种融合搜索内核,以实现高吞吐量和高召回率。IVF-RaBitQ 被实现并集成到 NVIDIA cuVS 库中,经过 cuVS Bench 跨多个数据集的实验表明,IVF-RaBitQ 在召回率、吞吐量、索引构建时间和存储占用方面都表现出强劲的性能前沿。对于召回率约为 0.95 的情况下,IVF-RaBitQ 的 QPS 高出基于图的方法 CAGRA 的 2.2 倍,同时构建索引速度平均快 7.7 倍。相对于基于聚类的方法 IVF-PQ,IVF-RaBitQ 在吞吐量上平均高出 2.7 倍,且无需对原始向量进行重新排序。
引用
@article{arxiv.2602.23999,
title = {GPU-Native Approximate Nearest Neighbor Search with IVF-RaBitQ: Fast Index Build and Search},
author = {Jifan Shi and Jianyang Gao and James Xia and Tamás Béla Fehér and Cheng Long},
journal= {arXiv preprint arXiv:2602.23999},
year = {2026}
}