发现接近全精度网络以实现高效嵌入式推理的低精度网络
计算机视觉与模式识别
2019-02-26 v2
摘要
为实现无处不在的嵌入式深度网络推理的愿景，寻求能耗与面积效率的极限至关重要。为此，低精度网络展现出巨大潜力，因为能耗和面积均随精度降低而呈二次方下降。本文在 ImageNet 分类基准上展示了 ResNet-18、-34、-50、-152、Inception-v3、Densenet-161 和 VGG-16bn 网络，在 8 位精度下经一个 epoch 微调后准确率超过全精度基线网络，从而利用了预训练模型的可用性。我们还展示了与全精度基线网络准确率相当的 ResNet-18、-34、-50、-152、Densenet-161 和 VGG-16bn 的 4 位模型——这是迄今为止的最高分数。令人惊讶的是，低精度网络的权重与相应基线网络的权重非常接近（在余弦相似度上），因此无需从头训练。我们发现训练期间由量化引起的梯度噪声随精度降低而增大，并寻求克服该噪声的方法。SGD 达到给定训练误差所需的迭代次数与以下两者的平方相关：(a) 初始解与最终解的距离，加上 (b) 梯度估计的最大方差。因此，我们 (a) 通过以预训练的 fp32 精度基线网络起步并微调来减小解距离，(b) 通过延长训练时间和降低学习率来抑制量化引入的梯度噪声。敏感性分析表明，这些简单技术，加上适当的激活函数范围校准以充分利用有限精度，足以发现存在时接近 fp32 精度基线网络的低精度网络。本文结果为 4 位足以用于分类提供了证据。
引用
@article{arxiv.1809.04191,
title = {Discovering Low-Precision Networks Close to Full-Precision Networks for Efficient Embedded Inference},
author = {Jeffrey L. McKinstry and Steven K. Esser and Rathinakumar Appuswamy and Deepika Bablani and John V. Arthur and Izzet B. Yildiz and Dharmendra S. Modha},
journal= {arXiv preprint arXiv:1809.04191},
year = {2019}
}