FaTRQ：面向远内存感知ANNS系统的LLM向量搜索分层残差量化方法
机器学习
2026-01-16 v1 硬件体系结构
信息检索
摘要
近似最近邻搜索（ANNS）是检索增强生成（RAG）中的一项关键技术，能够从海量向量数据库中快速识别最相关的高维嵌入。现代ANNS引擎利用预构建索引并将压缩的向量量化表示存储在快速内存中来加速此过程。然而，它们仍依赖于一个代价高昂的第二阶段精排步骤，该步骤需从SSD等较慢存储中读取全精度向量。对于现代文本和多模态嵌入，这些读取操作现在主导了整个查询的延迟。我们提出FaTRQ，一个利用分层内存的远内存感知精排系统，消除了从存储中获取完整向量的需求。它引入了一种渐进式距离估计器，利用从远内存流式传输的紧凑残差来细化粗粒度得分。一旦某个候选被证明不在top-k内，精排便提前停止。为此，我们提出了分层秩残差量化，将残差编码为三值，并高效地存储在远内存中。一个定制加速器部署在CXL Type-2设备中，以在本地执行低延迟精排。综合来看，FaTRQ相比最先进的GPU ANNS系统，存储效率提升了2.4倍，吞吐量提升了高达9倍。
引用
@article{arxiv.2601.09985,
title = {FaTRQ: Tiered Residual Quantization for LLM Vector Search in Far-Memory-Aware ANNS Systems},
author = {Tianqi Zhang and Flavio Ponzina and Tajana Rosing},
journal= {arXiv preprint arXiv:2601.09985},
year = {2026}
}