d-HNSW：分离式内存上的高性能向量搜索引擎
数据库
2026-03-17 v1
摘要
高效向量搜索对于驱动大规模 AI 应用（如 LLM）至关重要。现有解决方案专为计算与内存紧密耦合的单体架构设计。近期，分离式架构通过将计算和内存资源分离为独立可扩展的池来打破这一耦合以提高利用率。然而，在分离式内存系统上应用向量数据库因其基于图的索引而给系统设计带来独特挑战。我们提出 d-HNSW，第一个针对分离式内存系统优化的基于 RDMA 的向量搜索引擎。d-HNSW 在解决分离式引入的新系统级挑战的同时保留了 HNSW 的高精度：1) 指针追踪遍历带来的网络低效，2) 动态插入引起的非连续远程内存布局，3) 批处理工作负载中的冗余数据传输，以及 4) 顺序执行导致的资源利用不足。d-HNSW 通过一组硬件-算法协同设计技术应对这些挑战，包括 1) 带有轻量代表索引的平衡聚类以减少网络往返并确保可预测延迟，2) 保留动态插入下数据连续性的 RDMA 友好图布局，3) 查询感知数据加载以消除批处理查询间的冗余获取，以及 4) 重叠 RDMA 传输与计算的流水线执行模型以隐藏网络延迟并提高吞吐量。我们在公有云上的评估结果表明，d-HNSW 相比其他基线实现了高达 < 10–2 倍查询延迟和 > 100 倍查询吞吐量，同时保持 94% 的高召回率。
引用
@article{arxiv.2603.13591,
title = {d-HNSW: A High-performance Vector Search Engine on Disaggregated Memory},
author = {Fei Fang and Yi Liu and Chen Qian},
journal= {arXiv preprint arXiv:2603.13591},
year = {2026}
}