基于密度感知量化和多阶段重排序的 AQR-HNSW:加速近似最近邻搜索
信息检索
2026-02-26 v1
摘要
近似最近邻(ANN)搜索已成为现代 AI 基础设施的基本要素,为来自 Google 到 OpenAI 的各行业领袋的推荐系统、搜索引擎和大型语言模型提供动力。分层可导航小世界(HNSW)图已成为主导的 ANN 算法,广泛应用于生产系统 due to 其优异的召回率与延迟平衡。然而,随着向量数据库扩展到数十亿嵌入,HNSW 面临关键瓶颈:内存消耗扩大、距离计算开销主导查询延迟,以及在异构数据分布上表现次佳。本文提出了自适应量化和重排序 HNSW(AQR-HNSW),一种新型框架,通过融合三种策略来增强 HNSW 可扩展性。AQR-HNSW 引入 (1) 密度感知自适应量化,在保持距离关系的同时实现 4 倍压缩;(2) 多状态重排序,通过减少不必要的计算实现降低 35%;(3) 量化优化 SIMD 实现,实现跨架构 16-64 运算/周期。标准基准测试显示,与最先进的 HNSW 实现相比,AQR-HNSW 每秒查询数(QPS)提高 2.5-3.3 倍,同时保持超过 98% 的召回率,索引图内存降低 75%,索引构建速度提升 5 倍。
引用
@article{arxiv.2602.21600,
title = {AQR-HNSW: Accelerating Approximate Nearest Neighbor Search via Density-aware Quantization and Multi-stage Re-ranking},
author = {Ganap Ashit Tewary and Nrusinga Charan Gantayat and Jeff Zhang},
journal= {arXiv preprint arXiv:2602.21600},
year = {2026}
}
备注
Accepted at DAC 2026