使用随机哈达福变换进行量化：现已证明的高效启发式方法
机器学习
2026-05-08 v1 人工智能
数据结构与算法
网络与互联网体系结构
摘要
均匀随机旋转（URR）是现代量化方法中常见的预处理步骤，适用于梯度压缩、推理加速、KV 缓存压缩、模型权重量化以及向量数据库中的近似最近邻搜索。在实际应用中，URR 常被替换为随机哈达福变换（RHT），因为它们保持正交性且可实现快速算法。然而，针对最坏情况输入的性能仍是亟待解决的问题。使用 URR 时，每个坐标都服从偏移的 Beta 分布，在高维情况下收敛于高斯分布。一般而言，单个 RHT 在最坏情况下并不适用，因为单个坐标可能远离这些分布。我们证明，经过两个 RHT 复合后，针对任意大小为 d 的输入向量，归一化旋转向量中每个固定坐标的边际分布在Kolmogorov距离和1-Wasserstein距离下，均在O(d^{-1/2})范围内逼近标准高斯分布。随后，我们将这些界限引入现代压缩方案（如DRIVE和QUIC-FL）的分析中，表明两个 RHT 的性能在渐近意义上与 URR 相匹配。然而，我们指出，对于向量量化（VQ），两个 RHT 可能不够，因为 VQ 需要固定大小坐标块之间弱相关（而不仅仅是单个坐标的边际分布收敛）。我们证明，三个 RHT 的复合导致坐标协方差衰减。这确保了任何针对 URR 优化的固定、有界的多维 VQ 码本，在使用三个 RHT 时，其预期误差与 URR 相同，仅相差一个随维数趋于零的加法项。最后，由于实际输入通常并非对抗性输入，我们提出一种线性时间O(d)的检验，用于动态调整运行时使用的 RHT 数量，以提高性能。
引用
@article{arxiv.2605.06014,
title = {Quantizing With Randomized Hadamard Transforms: Efficient Heuristic Now Proven},
author = {Ran Ben-Basat and William Kuszmaul and Michael Mitzenmacher and Amit Portnoy and Shay Vargaftik},
journal= {arXiv preprint arXiv:2605.06014},
year = {2026}
}