块球面向量量化
机器学习
2026-05-20 v1 人工智能
数据库
数据结构与算法
摘要
向量量化是可扩展机器学习系统的基本原语，能够实现内存高效存储、快速检索和压缩推理。近期基于旋转的量化器，如 EDEN、RabitQ 和 TurboQuant，引入了强有力的理论保证和实证性能，但相关的比较一直难以解读，因为它们依赖于不同的失真准则、概率机制和实现假设。作为我们的第一项贡献，我们对这些方法进行了统一的理论比较，并表明它们的相对优势取决于准则而非绝对：EDEN 和 TurboQuant 在均方误差失真方面表现优越，EDEN 在期望内积失真方面同样有效，而 RabitQ 则提供了强高概率控制。这一比较进一步阐明，EDEN 对期望失真度量提供了特别强的保证。作为我们的第二项贡献，我们引入了块球面量化（BlockQuant），这是一种基于随机旋转向量球面几何的新型旋转块量化算法。与逐坐标量化器不同，BlockQuant 在球面上对块进行量化，更忠实地保留了旋转嵌入的几何结构。我们证明，这种块球面设计在理论上比本文所考虑的所有基线方法在重建均方误差和期望内积失真方面都有所改进。我们在真实嵌入数据集和长上下文大语言模型推理任务上的实验表明，实际增益与我们的理论改进一致。
引用
@article{arxiv.2605.19972,
title = {Block-Sphere Vector Quantization},
author = {Heesang Ann and Joongkyu Lee and Min-hwan Oh},
journal= {arXiv preprint arXiv:2605.19972},
year = {2026}
}