面向卷积神经网络统一 INT8 训练的探索
机器学习
2020-01-01 v1 计算机视觉与模式识别
摘要
近来，低比特（如 8 位）网络量化已被广泛研究以加速推理。除推理外，带有量化梯度的低比特训练可进一步带来更可观的加速，因为反向过程通常计算密集。遗憾的是，反向传播的不当量化常使训练不稳定甚至崩溃。目前缺乏一个能支持多种任务上多样网络的统一低比特训练框架。本文尝试从精度与速度两方面构建面向常见卷积神经网络统一的 8 位（INT8）训练框架。首先，我们通过实验发现梯度的四个显著特征，为梯度量化提供线索。接着，我们从理论上深入分析收敛界并推导出稳定 INT8 训练的两项原则。最后，我们提出两种通用技术：降低梯度方向偏差的方向敏感梯度裁剪，以及避免沿错误方向非法梯度更新的偏差抵消学习率缩放。实验表明，我们的统一方案实现了多种网络和任务（包括 MobileNetV2、InceptionV3 及先前研究从未成功的物体检测）准确且高效的 INT8 训练。此外，它具有较强的灵活性，可在现成硬件上运行，并在 Pascal GPU 上减少 22% 训练时间而无需过多优化工作。我们相信这一开创性研究将助力社区迈向卷积神经网络完全统一的 INT8 训练。
引用
@article{arxiv.1912.12607,
title = {Towards Unified INT8 Training for Convolutional Neural Network},
author = {Feng Zhu and Ruihao Gong and Fengwei Yu and Xianglong Liu and Yanfei Wang and Zhelong Li and Xiuqi Yang and Junjie Yan},
journal= {arXiv preprint arXiv:1912.12607},
year = {2020}
}