重新审视基于相似图的近似最近邻搜索索引构建
数据库
2025-02-18 v2
摘要
相似图 (PG) 作为高维数据 -近似最近邻 (-ANN) 搜索的前沿解决方案，已在诸多领域广受欢迎，如检索增强生成。尽管 PG 方法在 -ANN 搜索性能方面表现最佳，但其索引构建成本随点数呈超线性增长。这种超线性成本在大数据时代显著限制了其可扩展性。因此，本文旨在不牺牲 -ANN 搜索性能的前提下加速 PG 方法的构建。为实现这一目标，我们重新审视了两种主流的 PG 类型：相对邻域图 (RNG) 和可导航小世界图 (NSWG)。通过重新审视其构建过程，我们发现构建效率存在问题。为解决这些问题，我们提出一种新的构建框架，采用 novel pruning strategy for edge selection，以加快 RNG 的构建速度，同时保持其 -ANN 搜索性能。随后，我们将该框架集成到 NSWG 构建中，以提升 NSWG 的构建效率和 -ANN 搜索性能。进行大量实验验证了该构建框架对 RNG 和 NSWG 的有效性，显著降低了 PG 的构建成本，实现了最高可达 5.6 倍的加速，而未牺牲 -ANN 搜索性能。
引用
@article{arxiv.2410.01231,
title = {Revisiting the Index Construction of Proximity Graph-Based Approximate Nearest Neighbor Search},
author = {Shuo Yang and Jiadong Xie and Yingfan Liu and Jeffrey Xu Yu and Xiyue Gao and Qianru Wang and Yanguo Peng and Jiangtao Cui},
journal= {arXiv preprint arXiv:2410.01231},
year = {2025}
}
备注
The paper has been accepted by PVLDB 2025