高效纯整数算术卷积神经网络
计算机视觉与模式识别
2020-06-23 v1 机器学习
摘要
纯整数算术网络已被证明能有效降低计算成本并确保跨平台一致性。然而，以往工作通常报告将训练良好的浮点数(FPN)网络转换为整数网络时推理精度下降。我们分析了该现象并发现下降源于激活量化。具体而言，当用有界ReLU替换常规ReLU时，如何为每个神经元设置边界是一个关键问题。考虑到激活量化误差与网络学习能力的权衡，我们设定了一条经验规则来调整每个有界ReLU的边界。我们还设计了一种机制来处理特征图相加与特征图拼接的情况。基于所提方法，我们训练的8位整数ResNet在图像识别上优于Google的TensorFlow与NVIDIA的TensorRT的8位网络。我们还在用于图像超分辨率的VDSR与用于压缩伪影去除的VRCNN上进行了实验，二者均服务于原本需要高推理精度的回归任务。我们的整数网络取得了与相应FPN网络同等的性能，但在现代GPU上仅占用1/4内存且运行速度快2倍。我们的代码与模型可在 github.com/HengRuiZ/brelu 获取。
引用
@article{arxiv.2006.11735,
title = {Efficient Integer-Arithmetic-Only Convolutional Neural Networks},
author = {Hengrui Zhao and Dong Liu and Houqiang Li},
journal= {arXiv preprint arXiv:2006.11735},
year = {2020}
}
备注
8 pages, 4 figures