使用全精度辅助模块训练量化神经网络
计算机视觉与模式识别
2020-03-19 v3
摘要
在本文中，我们致力于解决训练低精度网络时面临的一个挑战：由于量化函数不可微，梯度在通过低精度网络传播时存在众所周知的困难。我们提出一种通过全精度辅助模块训练低精度网络的解决方案。具体而言，在训练期间，我们通过为原始低精度网络添加全精度辅助模块来构建一个混合精度网络。随后，该增强的混合精度网络与低精度网络被联合优化。该策略创建了额外的全精度路径来更新低精度模型的参数，从而使梯度更容易反向传播。在推理时，我们丢弃辅助模块，而不给低精度网络引入任何计算复杂度。我们在多种量化方法上针对图像分类和目标检测评估了所提出的方法，并显示出一致的性能提升。特别地，我们使用一个4位检测器实现了接近无损的全精度模型性能，这具有重要的实用价值。
引用
@article{arxiv.1903.11236,
title = {Training Quantized Neural Networks with a Full-precision Auxiliary Module},
author = {Bohan Zhuang and Lingqiao Liu and Mingkui Tan and Chunhua Shen and Ian Reid},
journal= {arXiv preprint arXiv:1903.11236},
year = {2020}
}
备注
Accepted to Proc. IEEE Conf. Computer Vision and Pattern Recognition (CVPR 2020)