TetraJet-v2：基于振荡抑制与异常值控制的准确 NVFP4 大语言模型训练方法
机器学习
2026-05-12 v3 人工智能
摘要
大语言模型（LLM）训练成本高昂，推动了低精度全量化训练（FQT）的研究热情。虽然 novel 4 位格式 如 NVFP4 能提供显著的效率提升，但在如此低的精度下实现接近无损的训练仍然具有挑战性。我们引入 TetraJet-v2，这是一种端到端的 4 位 FQT 方法，利用 NVFP4 对激活、权重和梯度进行量化，以覆盖所有线性层。我们识别出两种阻碍低精度 LLM 训练的关键问题：权重振荡和异常值。为此，我们提出了：1）NVFP4 线性层的无偏双块量化方法，实现了在 LLM 训练中实际最优的收敛；2）OsciReset 算法，首次有效抑制 LLM 权重振荡瓶颈；3）OutControl 一种混合精度算法以保留异常值准确性。TetraJet-v2 在 FP4 预训练 LLM 上优于先前方法，模型规模可达 370M 参数，训练代数可达 212B token，使其与 BF16 性能差距平均缩小 51.3%，并实现 FP8 速度提升 1.67 倍。代码已公开于 https://github.com/thu-ml/TetraJet-v2-NVFP4Training。
引用
@article{arxiv.2510.27527,
title = {TetraJet-v2: Accurate NVFP4 Training for Large Language Models with Oscillation Suppression and Outlier Control},
author = {Yuxiang Chen and Yifan Liu and Xiaoming Xu and Pengle Zhang and Michael Beyer and Martin Rapp and Jun Zhu and Jianfei Chen},
journal= {arXiv preprint arXiv:2510.27527},
year = {2026}
}