欧几里得空间中高维向量的实用渐近最优量化：用于近似最近邻搜索
数据库
2024-09-17 v1 数据结构与算法
信息检索
摘要
高维欧几里得空间中的近似最近邻（ANN）查询是数据库系统中的关键算子。对于该查询，量化是一系列用于压缩向量并减少内存消耗的方法。最近，一种名为RaBitQ的方法在这些方法中实现了最佳性能。它在相同的压缩率下，在准确性和效率方面都表现出更好的实证性能，并提供了严格的理论保证。然而，该方法仅设计用于在高压缩率（32倍）下压缩向量，缺乏通过使用更多空间来实现更高精度的支持。本文引入了一种新的量化方法来解决这一限制，通过扩展RaBitQ来实现。该新方法继承了RaBitQ的理论保证，并在本研究中证明其在空间与误差界之间的trade-off上实现渐近最优。此外，我们呈现了该方法的高效实现，使其能够用于ANN查询以减少空间和时间消耗。在真实数据集上的大量实验表明，我们的方法在相同的内存消耗下在准确性和效率方面 consistently 优于最新的基准方法。
引用
@article{arxiv.2409.09913,
title = {Practical and Asymptotically Optimal Quantization of High-Dimensional Vectors in Euclidean Space for Approximate Nearest Neighbor Search},
author = {Jianyang Gao and Yutong Gou and Yuexuan Xu and Yongyi Yang and Cheng Long and Raymond Chi-Wing Wong},
journal= {arXiv preprint arXiv:2409.09913},
year = {2024}
}
备注
Preprint