优化大型语言模型训练中的 FP4 量化
机器学习
2026-05-18 v2 计算与语言
摘要
大型语言模型（LLM）训练的计算需求日益增长，亟需更高效的方法。量化训练通过启用低位算术运算来降低这些成本。虽然 FP8 精度已显示可行性，但利用 FP4 仍面临显著量化误差和有限表示容量的挑战。本工作引入了首个针对大型语言模型的 FP4 训练框架，通过两种关键创新措施解决了这些挑战：一种用于精确权重更新的可微分量化估计器，以及一种用于防止激活压缩的离群值分层和补偿策略。为确保稳定性，该框架集成了混合精度训练方案和向量级量化。实验结果表明，我们的 FP4 框架在准确率上可与 BF16 和 FP8 相媳美， degradation 最小，能有效扩展至 130 亿参数的大型语言模型，训练时效达 1000 亿 token。随着下一代硬件支持 FP4，本框架为高效超低精度训练奠定了基础。
引用
@article{arxiv.2501.17116,
title = {Optimizing Large Language Model Training Using FP4 Quantization},
author = {Ruizhe Wang and Yeyun Gong and Xiao Liu and Guoshuai Zhao and Ziyue Yang and Baining Guo and Zhengjun Zha and Peng Cheng},
journal= {arXiv preprint arXiv:2501.17116},
year = {2026}
}