浮点量化训练的比例规律
机器学习
2025-06-05 v3 硬件体系结构
计算与语言
摘要
低精度训练被视为有效策略，可降低训练及后续推理成本。先前的精度比例规律主要关注整数量化，较少关注浮点(FP)量化的构成因素，因而无法很好地适用于大语言模型(LLM)损失场景。相比之下，虽然FP量化训练在实际生产中更常用，但其研究相对浅薄。本文深入探讨了FP量化目标、指数位数、尾数位数以及缩放因子计算粒度对LLM模型FP量化训练性能的影响。除了精确的FP量化统一比例规律外，我们还为社区提供了有价值的建议：(1)指数位数对模型性能的贡献略高于尾数位数。我们提供不同位数下的最优指数-尾数比率，可供硬件制造商参考；(2)我们发现低精度LLM训练中存在关键数据规模。训练数据超过关键数据规模会反而导致LLM性能下降；(3)最优FP量化精度与计算能力直接相关，但在较宽的计算能力范围内。我们估计，最佳性价比精度应位于4-8位之间。
引用
@article{arxiv.2501.02423,
title = {Scaling Laws for Floating Point Quantization Training},
author = {Xingwu Sun and Shuaipeng Li and Ruobing Xie and Weidong Han and Kan Wu and Zhen Yang and Yixing Li and An Wang and Shuai Li and Jinbao Xue and Yu Cheng and Yangyu Tao and Zhanhui Kang and Chengzhong Xu and Di Wang and Jie Jiang},
journal= {arXiv preprint arXiv:2501.02423},
year = {2025}
}