从浓度-对齐视角解析量化误差
机器学习
2026-03-05 v1 人工智能
摘要
量化可显著提升大型语言和视觉模型的效率，但通常伴随准确率下降。最近，函数保持变换（如旋转、Hadamard 变换、通道级缩放）成功应用于降低后训练量化误差，但缺乏原则性解释。我们通过信号-量化噪声比 (SQNR) 对线性层量化进行分析，发现对于固定比特宽度的均匀整数量化，SQNR 可分解为：(i) 权重和激活值的浓度（捕捉离散程度与异常值），以及 (ii) 其主导变化方向的对齐程度。这揭示了可操作的洞见：除了关注浓度（大多数先前变换如旋转或 Hadamard 变换的关注点），改善权重与激活之间的对齐亦可进一步降低量化误差。针对此启发，我们引入块状浓度-对齐变换 (CAT)，一种轻量线性变换，通过小型校准集的协方差估计实现浓度与对齐的联合提升，近似最大化 SQNR。实验表明，CAT 在多个大型语言模型中以 4 位精度下，始终匹配或优于先前基于变换的量化方法，确认了我们框架中的洞见。
引用
@article{arxiv.2603.04359,
title = {Dissecting Quantization Error: A Concentration-Alignment Perspective},
author = {Marco Federici and Boris van Breugel and Paul Whatmough and Markus Nagel},
journal= {arXiv preprint arXiv:2603.04359},
year = {2026}
}