基于卫星系统图的高维相似度搜索：效率、可扩展性及未索引查询兼容性
信息检索
2021-03-19 v3 数据库
摘要
高维空间中的近似最近邻搜索(ANNS)在数据库与信息检索中至关重要。近来，探索高效基于图的索引以解决 ANNS 问题引起大量关注。其中，导航扩散图(NSG)提供了细致的理论分析并达到了最先进的性能。然而，我们发现 NSG 存在若干局限：1) 当查询未索引于数据库中时，NSG 对最近邻搜索无理论保证；2) NSG 过于稀疏，损害了搜索性能。此外，NSG 还存在索引复杂度高的问题。为解决上述问题，我们提出卫星系统图(SSG)及其实用变体 NSSG。具体而言，我们提出一种新颖的剪枝策略，从完全图中生成 SSG。SSG 定义了一类新的 MSNET，其中每个节点的出边在所有方向上均匀分布。图中每个节点全向地与其邻域建立有效连接，由此我们推导出 SSG 对索引与未索引查询均具有优良的理论性质。我们可通过超参数自适应调整 SSG 的稀疏度以优化搜索性能。进一步，提出 NSSG 以降低 SSG 在大规模应用中的索引复杂度。我们提供了理论与大量实验分析，以证明所提方法相较现有代表性算法的优势。我们的代码已发布于 https://github.com/ZJULearning/SSG。
引用
@article{arxiv.1907.06146,
title = {High Dimensional Similarity Search with Satellite System Graph: Efficiency, Scalability, and Unindexed Query Compatibility},
author = {Cong Fu and Changxu Wang and Deng Cai},
journal= {arXiv preprint arXiv:1907.06146},
year = {2021}
}