基于平坦度的理论最优量化
机器学习
2026-05-20 v1 人工智能
摘要
训练后量化已成为压缩和加速大型语言模型 (LLM) 推理的广泛采用的技术。LLM 量化的主要挑战源于激活异常值，这会显著降低模型性能，尤其是在较低比特精度下。虽然最近的方法试图通过跨特征维度的线性变换来缓解异常值，但我们的分析表明，变换后的权重和激活仍然表现出具有集中幅度分布的持续异常值模式。在本文中，我们首先对量化误差与异常值之间的数学关系进行建模，然后引入一个新指标平坦度来量化异常值的分布。基于此，我们推导了关于平坦度的理论最优解。基于这些见解，我们提出了双向对角量化 (BDQ)，一种通过优化的矩阵变换有效分散异常值模式的新型训练后量化框架。BDQ 通过学习到的对角操作，战略性地将异常值幅度分布到矩阵维度上。大量实验表明，BDQ 建立了新的量化基准。它在 LLaMA-3-8B 模型的 W4A4 量化中实现了不到 1% 的准确率下降。在更具挑战性的 W2A4KV16 实验中，与最先进的方法相比，BDQ 在 DeepSeek-R1-Distill-LLaMA-70B 模型上将性能差距缩小了 39.1%。
引用
@article{arxiv.2605.18800,
title = {Theory-optimal Quantization Based on Flatness},
author = {Xiusheng Huang and Zhe Li and Xuanwu Yin and Lu Wang and Yequan Wang and Dong Li and Emad Barsoum and Kang Liu},
journal= {arXiv preprint arXiv:2605.18800},
year = {2026}
}
备注
16 pages, 2 figures