OptRot：通过无数据旋转缓解权值离群值以实现训练后量化

大语言模型（LLM）权重和激活值中离群值的存在使其难以量化。近期的工作利用旋转来缓解这些离群值。在本工作中，我们提出了通过最小化有原则且计算成本低的权重量化误差代理目标来学习可融合旋转的方法。我们主要关注 GPTQ 作为量化方法。我们的主要方法是 OptRot，它仅通过最小化旋转后权重的逐元素四次方来减少权重量离群值。我们证明，在权重量化方面，OptRot 优于 Hadamard 旋转以及更昂贵的数据依赖方法，如 SpinQuant 和 OSTQuant。在 W4A8 设置下，它还能改善激活量化。我们还提出了一种数据依赖方法 OptRot$^{+}$，通过引入激活协方差的信息来进一步提升性能。在 W4A4 设置下，我们发现 OptRot 和 OptRot$^{+}$ 的性能都较差，这突显了权重量化与激活量化之间的权衡。