使用全 8 位整数训练高性能大规模深度神经网络
机器学习
2020-01-01 v2 机器学习
摘要
深度神经网络（DNN）量化将网络中的浮点（FP）数据转换为整数（INT），是缩小模型尺寸以节省内存并简化运算以实现计算加速的有效方法。近来，DNN 量化的研究从推理发展到训练，为加速器上的在线训练奠定了基础。然而，现有方案在训练期间未处理批归一化（BN），大多是不完整量化，仍在部分数据路径中采用高精度 FP。目前，尚无方案能在大规模 DNN 的整个训练过程中仅使用低比特宽 INT 数据并保持可接受精度。本工作中，通过分解 DNN 中的所有计算步骤并融合三个特殊量化函数以满足不同精度需求，我们提出了一个统一的完整量化框架，称为“WAGEUBN”，对包含 W（权重）、A（激活）、G（梯度）、E（误差）、U（更新）和 BN 的所有数据路径的 DNN 进行量化。此外，Momentum 优化器也被量化以实现完全量化框架。在 ResNet18/34/50 模型上的实验表明，WAGEUBN 能在 ImageNet 数据集上达到有竞争力的精度。首次，大规模 DNN 中的量化研究被推进到全 8 位 INT 水平。由此，训练和推理中的所有操作均可为位级操作，从而实现更快的处理速度、更低的内存成本和更高的能效。我们的全程量化框架对未来具备在线学习能力的便携式高效设备极具潜力。
引用
@article{arxiv.1909.02384,
title = {Training High-Performance and Large-Scale Deep Neural Networks with Full 8-bit Integers},
author = {Yukuan Yang and Shuang Wu and Lei Deng and Tianyi Yan and Yuan Xie and Guoqi Li},
journal= {arXiv preprint arXiv:1909.02384},
year = {2020}
}