迈向高效的低比特宽度卷积神经网络

本文解决训练具有低精度权重和低比特宽度激活的深度卷积神经网络的问题。优化低精度网络非常具有挑战性，因为训练过程很容易陷入糟糕的局部极小，导致显著的精度损失。为缓解该问题，我们提出三种简单而有效的方法以改进网络训练。首先，我们提出使用两阶段优化策略逐步找到好的局部极小。具体地，我们提出先优化具有量化权重的网络，再优化量化激活。这与同时优化它们的传统方法形成对比。其次，遵循第一种方法类似的思想，我们提出另一种渐进优化方法，在训练过程中将比特宽度从高精度逐步降低到低精度。第三，我们采用一种新颖的学习方案，与低精度模型一起联合训练一个全精度模型。通过这样做，全精度模型提供提示以指导低精度模型训练。在各种数据集（即 CIFAR-100 和 ImageNet）上的大量实验显示了所提方法的有效性。值得强调的是，使用我们的方法训练 4-bit 精度网络与具有相同标准网络架构（即 AlexNet 和 ResNet-50）的全精度对应网络相比没有性能下降。