FreshDiskANN：一种面向流式相似度搜索的快速精准基于图的近似最近邻索引
信息检索
2021-05-21 v1
摘要
近似最近邻搜索（ANNS）是信息检索中的基础构件，基于图的索引是当前最先进且广泛应用于工业界的方法。基于图索引的最新进展使得在配备 SSD 的单一商用机器上，能够以高召回率和毫秒级延迟对十亿级点数据集建立索引并搜索。然而，现有的 ANNS 图算法仅支持静态索引，无法反映许多关键现实场景（如文档句子索引、电子邮件或新闻索引）所需的语料库实时变化。为克服这一缺陷，当前工业界将这些更新体现到此类索引中的做法是周期性地重建索引，其代价可能高得令人望而却步。在本文中，我们提出了首个基于图的 ANNS 索引，可在不牺牲搜索性能的前提下将语料库更新实时反映到索引中。利用该索引的更新规则，我们设计了 FreshDiskANN 系统，它能在配备 SSD 和有限内存的工作站上对超过十亿个点建立索引，并每秒支持数千次并发的实时插入、删除和搜索，同时保持 的 5-recall@5。与现有方法相比，这代表了维护索引新鲜度成本的 5-10 倍降低。
引用
@article{arxiv.2105.09613,
title = {FreshDiskANN: A Fast and Accurate Graph-Based ANN Index for Streaming Similarity Search},
author = {Aditi Singh and Suhas Jayaram Subramanya and Ravishankar Krishnaswamy and Harsha Vardhan Simhadri},
journal= {arXiv preprint arXiv:2105.09613},
year = {2021}
}
备注
19 pages, 22 figures