高维空间中低延迟的脱块级近似最近邻搜索
数据库
2026-05-08 v1
摘要
内存中的基于图的近似最近邻（ANN）搜索具有优异的搜索性能，但造成了显著的内存占用。磁盘方法减少了内存使用，但 suffer from 高磁盘访问延迟。一个常见的挑战是如何在显著降低内存占用的同时实现低延迟搜索。本文提出了 SkipDisk，一种磁盘-内存混合 ANN 搜索方法，可显著降低内存占用，同时实现与 HNSW 等内存方法相当或更低的搜索延迟。通过分析现有的磁盘方法，我们注意到磁盘访问仍是主要瓶颈，现有的基于下界过滤方法不够宽松，无法有效减少磁盘访问。因此，我们设计了 SkipDisk 以实现紧凑的下界和低内存占用，以减少搜索延迟。首先，我们为每个点设计专用的枢轴节点，以提高三角不等式下界的有效性，以实现有效的过滤。我们进一步设计了基于该下界的估计方法。其次，为了降低内存占用，我们采用三级数据修剪策略以保留内存中的有用数据。第三，为了进一步降低搜索延迟，我们设计了一种基于解耦内存搜索和磁盘访问的异步 I/O 策略，通过将邻居节点存储在内存中实现。实验表明，我们的方法实现了比 HNSW 低 85% 的延迟，内存占用约为 10；也实现了比 HNSW 低 63% 的延迟，稍高的内存占用约为 20。
引用
@article{arxiv.2605.05787,
title = {Low-Latency Out-of-Core ANN Search in High-Dimensional Space},
author = {Ziwen Song and Bin Wang and Xiaochun Yang and Junhua Zhang},
journal= {arXiv preprint arXiv:2605.05787},
year = {2026}
}
备注
A technical report of our research result SkipDisk