用于训练高精度低比特宽度深度神经网络的直接量化方法
计算机视觉与模式识别
2020-12-29 v1
摘要
本文提出两种新技术，用于训练具有低比特宽度权重和激活值的深度卷积神经网络。首先，为获得低比特宽度权重，大多数现有方法通过对全精度网络权重进行量化来得到量化权重。然而，这种方法会导致某种失配：梯度下降更新全精度权重，但并不更新量化权重。为解决此问题，我们提出一种新方法，能够直接更新具有可学习量化水平的量化权重，以利用梯度下降最小化代价函数。其次，为获得低比特宽度激活值，现有工作对所有通道同等对待。然而，激活量化器可能偏向少数具有高方差的通道。为解决此问题，我们提出一种考虑各通道量化误差的方法。借助该方法，我们可以学习使大多数通道中量化误差最小化的激活量化器。实验结果表明，我们使用 AlexNet、ResNet 和 MobileNetV2 架构在 CIFAR-100 和 ImageNet 数据集上，所提方法在图像分类任务上达到了最先进的性能。
引用
@article{arxiv.2012.13762,
title = {Direct Quantization for Training Highly Accurate Low Bit-width Deep Neural Networks},
author = {Tuan Hoang and Thanh-Toan Do and Tam V. Nguyen and Ngai-Man Cheung},
journal= {arXiv preprint arXiv:2012.13762},
year = {2020}
}