基于随机量化的精确低比特深度神经网络学习
计算机视觉与模式识别
2017-08-04 v1
摘要
低比特深度神经网络(DNNs)因其低存储需求和计算效率而对嵌入式应用至关重要。然而，它们深受不可忽略的精度下降之苦。本文提出随机量化(SQ)算法用于学习精确的低比特DNNs。动机源于以下观察：现有训练算法在每次迭代中将实值元素/滤波器统一近似为低比特表示。量化误差对某些元素/滤波器可能较小，而对其他则显著，导致训练期间梯度方向不当，从而带来明显的精度下降。相反，SQ以与量化误差成反比的随机概率将一部分元素/滤波器量化为低比特，同时保持另一部分全精度不变。量化和全精度部分在每次迭代中用相应梯度分别更新。SQ比率逐渐增大直到整个网络被量化。该过程可极大补偿量化误差，从而为低比特DNNs带来更好精度。实验表明，SQ能在各种数据集和不同网络结构下一致且显著提升不同低比特DNNs的精度。
引用
@article{arxiv.1708.01001,
title = {Learning Accurate Low-Bit Deep Neural Networks with Stochastic Quantization},
author = {Yinpeng Dong and Renkun Ni and Jianguo Li and Yurong Chen and Jun Zhu and Hang Su},
journal= {arXiv preprint arXiv:1708.01001},
year = {2017}
}
备注
BMVC 2017 Oral