Scalify：用于高效低精度LLM训练的尺度传播
机器学习
2024-07-25 v1
摘要
低精度格式（如float8）已被引入机器学习加速硬件，以提高大型语言模型训练和推理的计算效率。然而，由于匹配更高精度训练准确率所需的技术复杂且有时脆弱，社区的采纳率被延缓。本文提出了Scalify：一种用于计算图的端到端尺度传播范式，泛化并形式化了现有的张量缩放方法。实验结果表明，Scalify支持即插即用float8矩阵乘法和梯度表示，以及float16优化器状态存储。我们的JAX实现已开源于 https://github.com/graphcore-research/jax-scalify
引用
@article{arxiv.2407.17353,
title = {Scalify: scale propagation for efficient low-precision LLM training},
author = {Paul Balança and Sam Hosegood and Carlo Luschi and Andrew Fitzgibbon},
journal= {arXiv preprint arXiv:2407.17353},
year = {2024}
}
备注
11 pages, 5 figures, ICML 2024 WANT workshop