基于跳跃桥和LID驱动优化的双分支HNSW方法
机器学习
2025-04-28 v2 人工智能
摘要
层次化可导航小世界（HNSW）算法广泛用于近似最近邻（ANN）搜索，利用可导航小世界图的原理。然而，它存在一些局限性。首先，由于算法的贪心搜索策略仅基于每一步的邻近性选择邻居，存在局部最优问题，常导致簇间断开。其次，由于在每一层中进行穷举遍历，HNSW在高维数据集上常未能实现对数复杂度。为此，我们提出一种新算法，旨在缓解局部最优问题和簇间断开，同时提升构建速度，维持推理速度。我们的算法包含两个组件：第一个组件是基于LID（局部密度）的插入机制构成的双分支HNSW结构，使算法能够从多个方向进行遍历。这提高了对异常节点捕获的能力，增强了簇的连通性，加速了构建速度，并降低了陷入局部最小值的风险。第二个组件包含一种桥接构建技术，可绕过冗余的中间层，从而维持推理速度并弥补双分支结构引入的额外计算开销。在various 基准和数据集上的实验表明，我们的算法在准确率和速度上均优于原始HNSW。我们在计算机视觉（CV）和自然语言处理（NLP）等六个数据集上进行评估，显示在NLP任务中召回率提升了18%，在CV任务中提升了最高达30%，同时构建时间缩短了最高20%，且维持推理速度。我们没有观察到算法中的任何权衡。消融研究表明，基于LID的插入对性能影响最大，其次是双分支结构和桥接构建组件。
引用
@article{arxiv.2501.13992,
title = {Dual-Branch HNSW Approach with Skip Bridges and LID-Driven Optimization},
author = {Hy Nguyen and Nguyen Hung Nguyen and Nguyen Linh Bao Nguyen and Srikanth Thudumu and Hung Du and Rajesh Vasa and Kon Mouzakis},
journal= {arXiv preprint arXiv:2501.13992},
year = {2025}
}