阐明 FP4 训练设计空间
机器学习
2025-09-23 v1
摘要
基础模型日益增加的计算需求，推动了低精度训练研究，4位浮点(FP4)格式正成为最大化硬件吞吐量的前沿。尽管提出了诸多技术来稳定FP4训练，但这些方法往往是孤立的解决方案，具有不同的且不总是清晰的计算开销。本文旨在提供FP4训练设计空间的统一视图。我们引入一个全面的、基于量化梯度的框架，用于微标量量化，允许对不同稳定方法在前向和反向传递上的计算成本进行理论分析。使用基于该框架构建的模拟器，我们在广泛的机器学习任务上进行了大量经验研究，包括回归、图像分类、扩散模型和语言模型。通过系统评估数千种技术组合，如新型梯度近似、舍入策略和缩放方法，我们识别出哪些配置在性能与开销之间提供最佳权衡。我们发现，实现最佳权衡的技术涉及精心组合Hadamard变换、张量缩放和随机舍入。我们进一步发现，使用UE5M3作为缩放因子可能在范围和精度之间提供良好的折中方案，同时具有可管理的计算开销。
引用
@article{arxiv.2509.17791,
title = {Elucidating the Design Space of FP4 training},
author = {Robert Hu and Carlo Luschi and Paul Balanca},
journal= {arXiv preprint arXiv:2509.17791},
year = {2025}
}