随机哈达福变换下的可证明量化
机器学习
2026-05-14 v1 数据结构与算法
摘要
通过随机投影随后进行标量量化的向量量化是机器学习中的基本原语，适用于从相似搜索到联邦学习和 KV 缓存压缩等各种应用。虽然稠密随机旋转可提供干净的理论保证，但需要 时间。随机哈达福变换 将此降低到 ，但其离散结构使分析复杂化，导致较弱或纯经验性压缩保证。本文我们研究了这一方法的一个变体：单个随机哈达福变换的抖动量化。具体而言，量化器对输入向量应用 ，在量化前减去随机标量偏移，从而在可忽略的成本下注入额外随机性。我们证明了这一方法是无偏的，提供的均方误差界最终与可实现真正随机旋转矩阵的界相匹配。特别是，我们证明了抖动版 TurboQuant 在每坐标 位时，均方误差为 ，其中 项在量化层数增大时，对所有单位向量和所有维度均匀消失。
关键词
引用
@article{arxiv.2605.13810,
title = {Provable Quantization with Randomized Hadamard Transform},
author = {Ying Feng and Piotr Indyk and Michael Kapralov and Dmitry Krachun and Boris Prokhorov},
journal= {arXiv preprint arXiv:2605.13810},
year = {2026}
}