使用 4 位整数训练 Transformer
机器学习
2023-06-26 v2 神经与进化计算
摘要
将激活、权重和梯度量化为 4 位有望加速神经网络训练。然而，现有的 4 位训练方法需要自定义数值格式，而当代硬件不支持这些格式。在本工作中，我们提出一种 Transformer 训练方法，其所有矩阵乘法均使用 INT4 算术实现。以超低 INT4 精度训练具有挑战性。为此，我们仔细分析 Transformer 中激活与梯度的特定结构，为其提出专用量化器。对于前向传播，我们识别出离群值的挑战并提出 Hadamard 量化器以抑制离群值。对于反向传播，我们利用梯度的结构稀疏性，提出位拆分和杠杆得分采样技术以准确量化梯度。我们的算法在自然语言理解、机器翻译和图像分类等广泛任务上取得了有竞争力的精度。与先前的 4 位训练方法不同，我们的算法可在当前一代 GPU 上实现。我们的原型线性算子实现比 FP16 对应实现快达 2.2 倍，并将训练加速达 35.1%。
引用
@article{arxiv.2306.11987,
title = {Training Transformers with 4-bit Integers},
author = {Haocheng Xi and Changhao Li and Jianfei Chen and Jun Zhu},
journal= {arXiv preprint arXiv:2306.11987},
year = {2023}
}
备注
9 pages, 8 figures