多精度策略强制训练（MuPPET）：一种用于CNN量化定点训练的精度切换策略
计算机视觉与模式识别
2020-06-18 v1 机器学习
摘要
大规模卷积神经网络（CNN）的训练时间非常长，从数小时到数周不等，限制了深度学习从业者的生产力和实验效率。随着网络规模和复杂性的增长，可通过低精度数据表示与计算来缩短训练时间。然而，这样做会因梯度消失问题导致最终精度下降。现有最先进方法采用混合精度方法应对该问题，利用两种不同的精度级别 FP32（32位浮点）和 FP16/FP8（16/8位浮点），借助近期GPU架构对FP16运算的硬件支持来获得性能提升。本工作通过采用一种利用多种精度（包括低精度定点表示）的多级优化方法，推进了量化训练的边界。这种新颖的训练策略 MuPPET 结合了多种数值表示机制与一种精度切换机制，该机制在运行时决定精度机制之间的转换点。总体而言，所提策略使训练过程适配目标硬件架构的硬件级能力，并与最先进方法相比在训练时间和能效上取得改进。在 ImageNet（ILSVRC12）上训练 AlexNet、ResNet18 和 GoogLeNet 并面向 NVIDIA Turing GPU 应用 MuPPET，MuPPET 达到了与标准全精度训练相同的精度，训练时间加速最高达 1.84，在各网络上的平均加速为 1.58。
引用
@article{arxiv.2006.09049,
title = {Multi-Precision Policy Enforced Training (MuPPET): A precision-switching strategy for quantised fixed-point training of CNNs},
author = {Aditya Rajagopal and Diederik Adriaan Vink and Stylianos I. Venieris and Christos-Savvas Bouganis},
journal= {arXiv preprint arXiv:2006.09049},
year = {2020}
}
备注
Accepted at the 37th International Conference on Machine Learning (ICML), 2020