向量量化通用性收益至多为0.11比特

快速计算矩阵乘法 $W^\top X$ 是现代大型语言模型的核心操作。为提高其部署效率，流行方法是使用低精度近似 $\widehat W$ 替代真实 $W$（“仅量化权重”）。信息论表明，减少 $W$ 精度的最优算法取决于 $X$ 的（二阶）统计特性，需要将向量量化码本与 $X$ 的PCA方向精确对齐（称为“水灌分配”）。然而，码本对 $X$ 统计特性的依赖极不实用。本文证明存在一种通用码本，对于所有可能的 $X$ 统计特性都近乎最优，即其性能至少不劣于 $X$ 适应水灌码本的性能，速率降低0.11比特/维。这种通用码本是低精度存储格式的理想候选者，但其存在性证明是非构造的。等价地，我们的结果表明存在一个在 $\mathbb{R}^n$ 中的网络，能够同时以所有希尔伯特范数近乎最优地覆盖整个球。