面向神经网络训练与推理的值感知量化
神经与进化计算
2018-04-24 v1 机器学习
摘要
我们提出了一种新颖的值感知量化方法，该方法对大部分数据采用激进的低位宽精度，同时以高精度单独处理少量大数据，从而在极低精度下减少总量化误差。我们提出了将所提量化应用于训练和推理的新技术。实验表明，我们的方法在激活值使用3-bit（其中2%为大数据）时，能够达到与全精度相同的训练精度，同时与最先进方法相比，在ResNet-152和Inception-v3中分别显著（41.6%和53.7%）降低了激活值的内存开销。我们的实验还表明，诸如Inception-v3、ResNet-101和DenseNet-121等深度网络可以量化为4-bit权重和激活值（含1%的16-bit数据）用于推理，且top-1精度下降在1%以内。
引用
@article{arxiv.1804.07802,
title = {Value-aware Quantization for Training and Inference of Neural Networks},
author = {Eunhyeok Park and Sungjoo Yoo and Peter Vajda},
journal= {arXiv preprint arXiv:1804.07802},
year = {2018}
}