δ-EMG:面向近似最近邻搜索的单调图索引
信息检索
2025-11-24 v1
摘要
高维空间中的近似最近邻(ANN)搜索是许多现代检索与推荐系统的基础组件。当前几乎所有算法都遵循-召回率绑定原则进行比较:要求ANN搜索结果实现超过的召回率,然后比较查询每秒性能(QPS)。然而,这种方法仅考虑真实正结果的召回率,不保证错误结果的偏差。为此,我们关注基于误差界限的ANN方法,确保返回的结果是真实值的近似值。我们的方案采用图基框架。为实现误差界限ANN搜索,我们提出δ-EMG(Error-bounded Monotonic Graph),首次为任意查询提供可证明的近似保证。通过在图构建过程中强制执行δ单调几何约束,δ-EMG确保任何贪心搜索均收敛于近似邻居,无需回溯。基于此基础,我们设计一种自适应控制近似精度的误差界限top-k ANN搜索算法。为使框架在大规模场景中实用,我们引入δ-EMQG(Error-bounded Monotonic Quantized Graph),一种具有近线性构建复杂度的局部化、度数平衡变体。我们进一步集成向量量化以加速距离计算,同时保持理论保证。大量实验在ANN-Benchmarks数据集上表明,我们的方法有效。以召回率0.99为要求,在SIFT1M数据集上实现19,000 QPS,超越其他方法40%以上。
引用
@article{arxiv.2511.16921,
title = {{\delta}-EMG: A Monotonic Graph Index for Approximate Nearest Neighbor Search},
author = {Liming Xiang and Jing Feng and Ziqi Yin and Zijian Li and Daihao Xue and Hongchao Qin and Ronghua Li and Guoren Wang},
journal= {arXiv preprint arXiv:2511.16921},
year = {2025}
}