SHINE：用于异构内存中的可扩展 HNSW 索引
数据库
2025-07-24 v1
摘要
近似最近邻搜索 (ANN) 是计算机科学中的一个基本问题，其内存中基于图的方法，例如分层可导航小世界 (HNSW)，表现优异。为了将索引扩展到数十亿的高维向量，必须进行分布式处理。异构内存架构将计算和内存物理分离为两个独立的硬件单元，并在现代数据中心中广泛应用。两种单元通过 RDMA 网络相连，允许计算节点直接访问远程内存并执行所有计算，这为异构索引带来了独特的挑战。本文提出了一种用于异构内存中 ANN 搜索的可扩展 HNSW 索引。与现有分布方法不同后者在准确性方面进行图分区，我们的方法构建保留图结构的索引，达到与单机 HNSW 相同的准确性。持续从远程内存获取高维向量数据会导致严重的网络带宽限制，我们通过采用高效的缓存机制来克服这一问题。由于单个查询涉及处理大量唯一的图节点，仅靠缓存并不足以实现高可扩展性。我们逻辑地组合计算节点的缓存以增加整体缓存效果，并在评估中确认了该方法的效率和可扩展性。
引用
@article{arxiv.2507.17647,
title = {SHINE: A Scalable HNSW Index in Disaggregated Memory},
author = {Manuel Widmoser and Daniel Kocher and Nikolaus Augsten},
journal= {arXiv preprint arXiv:2507.17647},
year = {2025}
}