关于 TurboQuant 与早期 DRIVE/EDEN 工作的若干说明

本文阐明了近期 TurboQuant 工作与早期 DRIVE（NeurIPS 2021）和 EDEN（ICML 2022）方案之间的关系。DRIVE 是一种 1 位量化器，EDEN 将其扩展至任意 $b>0$ 位坐标；我们统称为 EDEN。首先，TurboQuant$_{\text{mse}}$ 是通过固定 EDEN 中标量尺度参数 $S=1$ 所得的特例。EDEN 支持偏置和无偏两种量化方式，分别通过不同的 $S$ 进行优化（$S$ 由 EDEN 论文中描述的方法选择）。固定选择 $S=1$ 虽劣于最优，但随维度增大，无偏 EDEN 的最优 $S$ 收敛至 1；因此 TurboQuant$_{\text{mse}}$ 在大尺寸 $d$ 时趋近于 EDEN 的行为。其次，TurboQuant$_{\text{prod}}$ 将偏置 $(b-1)$ 位 EDEN 步骤与无偏 1 位 QJL 残差量化相结合，存在三方面的劣势：(1)其 $(b-1)$ 位步骤使用次优的 $S=1$；(2)其 1 位无偏残差量化的均方误差劣于（无偏）1 位 EDEN；(3)将偏置 $(b-1)$ 位步骤与无偏 1 位残差步骤串联，不如直接用 $b$ 位 EDEN 进行无偏量化。第三，TurboQuant 部分的分析与 EDEN 论文相似：两者均利用随机旋转与移位 Beta 分布之间的联系，采用 Lloyd-Max 算法，并指出随机哈达德变换可取代均匀随机旋转。实验支持了这些论点：带优化 $S$ 的偏置 EDEN 在准确率上优于 TurboQuant$_{\text{mse}}$，无偏 EDEN 在准确率上显著优于 TurboQuant$_{\text{prod}}$，常以超过一个比特的优势（例如 2 位 EDEN 超越 3 位 TurboQuant$_{\text{prod}}$）。我们还重复了 TurboQuant 论文中的所有准确率实验，表明在我们尝试的每个设置下，EDEN 均超越 TurboQuant。