面向流式近似最近邻搜索的图索引就地更新
信息检索
2025-02-20 v1
摘要
近似最近邻搜索（ANNS）索引是信息检索的基础组件，被广泛应用于数据库、搜索、推荐和 RAG 系统中。在这些场景下，文档或其他对象以高速率被插入到工作集中或从中删除，需要对向量索引进行持续的更新。基于邻近图索引的算法是 ANNS 最高效的索引，赢得了许多基准测试竞赛。然而，在支持多次更新后保持稳定召回率的同时，以高速率更新此类图索引极具挑战性。由于图是单向链接的，删除操作非常困难，因为没有快速的方法来找到被删除顶点的入边邻居。因此，为了更新图，诸如 FreshDiskANN 等最先进的算法将删除操作累积在一个批次中并定期进行合并，移除指向已删除顶点的边并修改图以确保召回率稳定性。在本文中，我们提出了 IP-DiskANN（InPlaceUpdate-DiskANN），这是第一个通过高效地就地处理每次插入和删除来避免批量合并的算法。我们使用标准基准测试的实验表明，IP-DiskANN 在高召回率和低召回率机制下的各种长周期更新模式中均具有稳定的召回率。此外，其查询吞吐量和更新速度优于使用批量合并算法和 HNSW 的方案。
引用
@article{arxiv.2502.13826,
title = {In-Place Updates of a Graph Index for Streaming Approximate Nearest Neighbor Search},
author = {Haike Xu and Magdalen Dobson Manohar and Philip A. Bernstein and Badrish Chandramouli and Richard Wen and Harsha Vardhan Simhadri},
journal= {arXiv preprint arXiv:2502.13826},
year = {2025}
}