OOD-DiskANN：面向分布外查询的高效可扩展图近似最近邻搜索
机器学习
2022-12-01 v2 信息检索
摘要
用于近似最近邻搜索（ANNS）的最先进算法，如 DiskANN、FAISS-IVF 和 HNSW，通过过拟合索引数据分布来构建数据依赖型索引，相较于与数据无关的索引提供了显著更优的精度与搜索效率。当查询数据来自不同分布时——例如索引表示图像嵌入而查询表示文本嵌入——此类算法会丧失大部分性能优势。在多种数据集上，对于固定的召回率目标，分布外（OOD）查询的延迟相比分布内（ID）查询差一个数量级或更多。我们在本工作中解决的问题是：若在索引构建时可获取一小部分此类查询样本，ANNS 算法能否对 OOD 查询保持高效。我们给出了肯定答案，提出 OOD-DiskANN，其使用稀疏的 OOD 查询样本（占索引集大小的 1%），并在相似内存占用的 SoTA 算法上实现高达 40% 的平均查询延迟改进。OOD-DiskANN 具有可扩展性，并具备基于图的 ANNS 索引的效率。我们的部分贡献也能提升 ID 查询的查询效率。
引用
@article{arxiv.2211.12850,
title = {OOD-DiskANN: Efficient and Scalable Graph ANNS for Out-of-Distribution Queries},
author = {Shikhar Jaiswal and Ravishankar Krishnaswamy and Ankit Garg and Harsha Vardhan Simhadri and Sheshansh Agrawal},
journal= {arXiv preprint arXiv:2211.12850},
year = {2022}
}