按位：基于异常通道分割的渐进式低位 LLM 量化策略
机器学习
2026-04-10 v1
摘要
在超低精度下训练大语言模型仍是巨大挑战。直接低位量化常因收敛不稳和巨大的训练成本而受阻，尤其是由于来自重尾异常通道的量化噪声以及跨层误差累积的加剧。为此，我们提出Bit-by-Bit，一种带异常通道分割的渐进式量化感知训练框架。我们的方法集成了三个关键组件：(1) 按块的渐进式训练，逐步降低精度，确保低位优化的稳定初始化；(2) 整数量化网格的嵌套结构，实现“一次训练，任意精度部署”范式，使单个模型无需重新训练即可支持多种位宽；(3) 四舍五入感知的异常通道分割，既缓解量化误差，又作为保持量化输出恒等变换的身份映射。此外，我们遵循微量化组，采用E4M3尺度，捕获与OCP/NVIDIA标准一致的动态激活范围。为解决2位内核效率低的问题，我们开发了针对W2A2和W2A16配置的自定义算子，实现对BF16的最高11倍加速。在W2A2设置下，Bit-by-Bit在Llama2/3模型上相较于BitDistiller和EfficientQAT等基线方法显著优异，WikiText2困惑度仅为2.25。
引用
@article{arxiv.2604.07888,
title = {Bit-by-Bit: Progressive QAT Strategy with Outlier Channel Splitting for Stable Low-Bit LLMs},
author = {Binxing Xu and Hao Gu and Lujun Li and Hao Wang and Bei Liu and Jiacheng Liu and Qiyuan Zhu and Xintong Yang and Chao Li and Sirui Han and Yike Guo},
journal= {arXiv preprint arXiv:2604.07888},
year = {2026}
}