IVF-TQ：基于无码本残差层的无校准流式向量搜索
机器学习
2026-05-25 v2 人工智能
数据库
信息检索
摘要
部署于流式语料库的近似最近邻（ANN）索引在数周内会静默性失去召回率。标准诊断是分布迁移，但即使在随机i.i.d. 接收——没有任何迁移——产品量化仍降低-3.8pp。主导生产压缩方法（PQ、OPQ、ScaNN）均拟合初始样本的码本并在数据库按数量级增长后重用。本文提出IVF-TQ，一种倒排文件索引，其残差压缩层为数据独立：固定随机旋转后跟预计算Lloyd-Max标量量化器，仅由位宽b和维度d参数化。仅训练IVF粗糙k-means分区。一个统一的球内积误差界限仅取决于(b, d, delta)，提供一种无学习码本方法均无结构保障的保证。相同的无码本设计使IVF放大效应得以实现，将与Extended RaBitQ的差距在统计噪声范围内(+17.7pp在匹配位宽下相对于平坦TQ），并可实现一种自适应变体在不触及压缩层的情况下刷新分区。跨九个受控单元格（三个10M数据集、三个PQ内存配置、三个随机种子），每个批次的PQ码本重新训练从未恢复流式差距；IVF-PQ流式稳定性需要按数据集调整位宽配置，而IVF-TQ在所有三个数据集上以固定(b, d)配置保持稳定，Delta范围为[-0.80, +0.56]pp。该工作的贡献是操作性的：无需训练码本、无需按数据集调整位宽配置、无需重新训练循环来弥补差距。
引用
@article{arxiv.2605.17415,
title = {IVF-TQ: Calibration-Free Streaming Vector Search via a Codebook-Free Residual Layer},
author = {Tarun Sharma},
journal= {arXiv preprint arXiv:2605.17415},
year = {2026}
}