通过学习式正则化学习稀疏低精度神经网络
计算机视觉与模式识别
2020-05-26 v2 机器学习
神经与进化计算
摘要
我们考虑学习由低精度权重和激活组成的深度神经网络 (DNNs)，以实现定点运算的高效推理。在训练低精度网络时，反向传播中的梯度下降使用高精度权重，而前向传播中使用量化低精度权重和激活来计算训练损失函数。因此，梯度下降变得次优，并伴随精度损失。为减少前向与反向传播的不匹配，我们利用均方量化误差 (MSQE) 正则化。特别地，我们提出对 MSQE 正则化器使用可学习正则化系数，以强化高精度权重向其量化值的收敛。我们还研究如何以类似方式采用部分 L2 正则化进行权重剪枝。最后，结合权重剪枝、量化和熵编码，我们建立了一个低精度 DNN 压缩流程。在我们的实验中，所提方法在 ImageNet 分类上产生了低精度 MobileNet 和 ShuffleNet 模型，其压缩比分别为 7.13 和 6.79，达到最先进水平 (SOTA)。此外，我们考察了我们的方法在图像超分辨率网络上以可忽略性能损失生成 8 位低精度模型的表现。
引用
@article{arxiv.1809.00095,
title = {Learning Sparse Low-Precision Neural Networks With Learnable Regularization},
author = {Yoojin Choi and Mostafa El-Khamy and Jungwon Lee},
journal= {arXiv preprint arXiv:1809.00095},
year = {2020}
}
备注
IEEE Access