通过约束优化实现神经网络混合精度量化
计算机视觉与模式识别
2021-10-14 v1
摘要
量化是一种广泛使用的压缩与加速深度神经网络的技术。然而，常规量化方法对所有（或大多数）层使用相同位宽，这在超低精度 regime 下常遭受显著的准确率下降，且忽视了新兴硬件加速器开始支持混合精度计算的事实。因此，我们在本文中提出了一种新颖且基于原则的框架来解决混合精度量化问题。简言之，我们首先将混合精度量化表述为一个离散约束优化问题。然后，为使优化可处理，我们用二阶 Taylor 展开近似目标函数，并提出一种高效计算其 Hessian 矩阵的方法。最后，基于上述简化，我们证明原问题可重新表述为多重选择背包问题（MCKP）并提出一种贪心搜索算法来高效求解。与现有混合精度量化工作相比，我们的方法以原则性方式推导且计算效率更高。此外，在 ImageNet 数据集与多种网络架构上进行的广泛实验也证明了其相对于现有均匀与混合精度量化方法的优越性。
引用
@article{arxiv.2110.06554,
title = {Towards Mixed-Precision Quantization of Neural Networks via Constrained Optimization},
author = {Weihan Chen and Peisong Wang and Jian Cheng},
journal= {arXiv preprint arXiv:2110.06554},
year = {2021}
}
备注
accepted by ICCV 2021