释放图划分在大型最近邻搜索中的潜力
数据结构与算法
2024-03-05 v1 信息检索
摘要
我们考虑将大规模近似最近邻搜索 (ANNS) 问题分解为较小子问题的基本问题。目标是将输入点划分到保持邻域关系的分片中，使得任意点的最近邻仅包含在少数几个分片中。当查询到达时，使用路由算法来识别应搜索其最近邻的分片。这种方法构成了分布式 ANNS 的骨干，适用于数据集过大而必须跨多台机器拆分的情况。在本文中，我们设计了简单且高效的路由方法，并证明了其性能的强理论保证。我们路由算法的一个关键特征是其固有的模块化，可以与任何划分方法结合使用。这解决了先前方法的一个关键缺陷，即路由算法与其关联的划分方法密不可分。特别是，我们新的路由方法使得平衡图划分得以应用，这是一种没有自然关联路由算法的高质量划分方法。因此，我们提供了首批使用平衡图划分的路由方法，这些方法训练速度极快、延迟低且实现了高召回率。我们在十亿规模的数据集上对我们完整的划分和路由流水线进行了全面评估，其表现以显著优势优于现有的可扩展划分方法，在 90% recall 下实现了比最佳竞争对手高 2.14 倍的 QPS。
引用
@article{arxiv.2403.01797,
title = {Unleashing Graph Partitioning for Large-Scale Nearest Neighbor Search},
author = {Lars Gottesbüren and Laxman Dhulipala and Rajesh Jayaram and Jakub Lacki},
journal= {arXiv preprint arXiv:2403.01797},
year = {2024}
}