基于动态块级回退的精确INT8训练
机器学习
2025-06-10 v3
摘要
转换模型在各种人工智能应用中取得了显著的成功，但面临着显著的训练成本。低位训练，如INT8训练，可以利用更高吞吐量的计算单元，已在具有块级量化的GPT2模型上证明其有效性。然而，它在包含GLU单元的现代转换模型变体方面却走势不佳。这主要是因为这些变体显示出复杂的激活异常值分布。为解决这一挑战，我们提出了回退量化（Fallback Quantization），实现动态回退的混合精度GEMM，以便对包含异常值的激活块从8位回退到16位。实验表明，我们的方法在微调和预训练设置中都表现出稳健的性能。此外，我们的方法在RTX4090 GPU上实现了1.57倍的端到端训练加速。
引用
@article{arxiv.2503.08040,
title = {Accurate INT8 Training Through Dynamic Block-Level Fallback},
author = {Pengle Zhang and Jia Wei and Jintao Zhang and Jun Zhu and Jianfei Chen},
journal= {arXiv preprint arXiv:2503.08040},
year = {2025}
}