SymphonyQG：面向近似最近邻搜索的量化与图和谐集成
数据库
2024-11-20 v1 信息检索
摘要
高维欧氏空间中的近似最近邻(ANN)搜索具有广泛的应用。在现有的ANN算法中，基于图的方法在时间-精度权衡方面表现出优越性能。然而，由于图索引上搜索过程导致的随机内存访问以及指导搜索过程的精确距离计算成本，它们面临性能瓶颈。为缓解这些瓶颈，最近一种名为NGT-QG的方法尝试通过集成量化与图来解决。它(1)紧凑地复制并存储顶点邻居的量化码，以便顺序访问；(2)使用基于SIMD的FastScan实现，基于量化码批量高效估计距离以指导搜索过程。虽然NGT-QG在原始基于图的方法上取得了有希望的改进，但它尚未完全释放量化与图集成的潜力。例如，它需要在最后进行重排序步骤以计算精确距离，这引入了额外的随机内存访问；其图结构并未考虑FastScan的批处理特性进行联合设计，导致搜索中的计算浪费。在本工作中，我们沿袭NGT-QG，提出了一种新方法SymphonyQG，实现了量化与图更和谐的集成（例如，它避免了显式的重排序步骤，并优化了图结构以更好地与FastScan对齐）。基于在真实世界数据集上的大量实验，SymphonyQG在时间-精度权衡方面建立了新的最先进水平。
引用
@article{arxiv.2411.12229,
title = {SymphonyQG: Towards Symphonious Integration of Quantization and Graph for Approximate Nearest Neighbor Search},
author = {Yutong Gou and Jianyang Gao and Yuexuan Xu and Cheng Long},
journal= {arXiv preprint arXiv:2411.12229},
year = {2024}
}
备注
The paper has been accepted by SIGMOD 2025