用于 CNN 训练的分布自适应 INT8 量化
计算机视觉与模式识别
2021-02-10 v1 人工智能
机器学习
摘要
研究表明低比特宽度（如 INT8）量化可用于加速推理过程。这使得梯度量化极具前景，因为反向传播所需计算量约为前向的两倍。由于梯度分布的可变性与不确定性，已有大量方法被提出以获得训练稳定性。然而，多数方法忽略了通道级梯度分布及不同量级梯度的影响，导致最终精度下降。本文提出一种新颖的卷积神经网络 INT8 量化训练框架以解决上述问题。具体而言，基于层间梯度沿通道维度包含多种分布的观察，我们采用梯度向量化量化对梯度进行量化。随后，在最小化量化误差时考虑梯度量级，引入量级感知截断策略，并给出理论推导以求解不同分布的量化参数。在图像分类、目标检测与视频分类等广泛计算机视觉任务上的实验结果表明，所提分布自适应 INT8 量化训练方法对不同骨干网络（包括 ResNet、MobileNetV2、InceptionV3、VGG 与 AlexNet）均达到近乎无损的训练精度，优于当前最优技术。此外，我们进一步实现了 INT8 核，在最新 Turing 架构下可使训练迭代加速逾 200%，即我们的方法在训练精度与速度上均表现优异。
引用
@article{arxiv.2102.04782,
title = {Distribution Adaptive INT8 Quantization for Training CNNs},
author = {Kang Zhao and Sida Huang and Pan Pan and Yinghan Li and Yingya Zhang and Zhenyu Gu and Yinghui Xu},
journal= {arXiv preprint arXiv:2102.04782},
year = {2021}
}
备注
This paper has been accepted by AAAI 2021