面向神经网络量化的高效训练
计算机视觉与模式识别
2019-12-24 v1
摘要
量化降低了神经网络的计算成本，但存在性能退化问题。这一精度下降是由于容量减小，还是量化过程中训练低效所致？通过将权重和中间激活视为随机变量来考察神经网络的梯度传播过程后，我们发现了两条对高效训练至关重要的规则。近期的量化方法违背了这两条规则并导致退化的收敛。为解决该问题，我们提出一种简单而有效的技术，称为尺度调整训练（SAT），以遵循所发现的规则并促进高效训练。我们还分析了流行的参数化截断激活（PACT）技术在梯度计算中所引入的量化误差。通过 SAT 与梯度校准的 PACT 相结合，量化模型获得了与其全精度对应模型相当甚至更优的性能，在包括 MobileNet-V1/V2 和 PreResNet-50 的广泛模型上以对先前量化方法的一致改进实现了最先进准确率。
引用
@article{arxiv.1912.10207,
title = {Towards Efficient Training for Neural Network Quantization},
author = {Qing Jin and Linjie Yang and Zhenyu Liao},
journal= {arXiv preprint arXiv:1912.10207},
year = {2019}
}
备注
23 pages, 8 figures