ButterflyQuant：通过可学习正交蝴蝶变换实现超低比特 LLM 量化

大型语言模型具有巨大的内存占用，严重限制其在消费级硬件上的部署。量化通过降低数值精度来减少内存，但极端 2 位量化因激活中的离群值而导致性能灾难性下降。旋转方法如 QuIP 和 QuaRot 通过对正交变换消除离群值进行量化，采用计算不变性：$\mathbf{y} = \mathbf{Wx} = (\mathbf{WQ}^T)(\mathbf{Qx})$ 其中 $\mathbf{Q}$ 为正交矩阵。然而，这些方法使用固定变换——哈达福矩阵实现最坏情况下的最优一致性 $\mu = 1/\sqrt{n}$——无法适应特定权重分布。我们指出，不同的 transformer 层呈现不同的离群模式，激发基于层的自适应旋转而非通用方法。在本文中，我们提出 ButterflyQuant，用可学习的蝴蝶变换替换哈达福旋转，参数化为连续的 Givens 旋转角度。与哈达福由离散的 $\{+1, -1\}$ 条目组成的固定变换不同，蝴蝶变换的连续参数化使梯度学习成为可能，同时通过构造保证正交性。这种正交约束确保了在消除离群值方面的理论保证，同时以 $O(n \log n)$ 的计算复杂度实现，仅需 $\frac{n \log n}{2}$ 个可学习参数。我们进一步引入对转换后激活的均匀性正则化，以促进更易于量化的分布。学习只需 128 个校准样本，即可在单块 GPU 上数分钟内收敛。