中文

DISTRIBUTEDANN:单一 DISKANN 图在数千台计算机上的高效扩展

分布式、并行与集群计算 2025-09-09 v1 数据结构与算法 信息检索

摘要

我们提出 DISTRIBUTEDANN,一个分布式向量搜索服务,使其能够在数千台机器上搜索跨越 500 亿向量的图索引,提供 26ms 中位查询延迟,日处理查询量超过 10 万笔。相较于现有在规模化向量搜索系统中将查询路由至子集分区的分割与路由策略,DISTRIBUTEDANN 的效率提升 6 倍。DISTRIBUTEDANN 由两个成熟组件构成:分布式键值存储与内存中 ANN 索引。DISTRIBUTEDANN 已取代 Bing 搜索引擎传统的规模化架构作为服务平台,我们分享此次转型的实践经验。

关键词

引用

@article{arxiv.2509.06046,
  title  = {DISTRIBUTEDANN: Efficient Scaling of a Single DISKANN Graph Across Thousands of Computers},
  author = {Philip Adams and Menghao Li and Shi Zhang and Li Tan and Qi Chen and Mingqin Li and Zengzhong Li and Knut Risvik and Harsha Vardhan Simhadri},
  journal= {arXiv preprint arXiv:2509.06046},
  year   = {2025}
}