基于逐元素梯度缩放的网络量化
计算机视觉与模式识别
2021-04-05 v1
摘要
网络量化旨在降低权重和/或激活的位宽，对于在有限硬件资源下实现深度神经网络尤为重要。多数方法使用直通估计器(STE)训练量化网络，其通过将离散器（即舍入函数）的导数替换为恒等函数的导数来避免零梯度问题。尽管利用 STE 的量化网络展现出不错性能，STE 并非最优，因其简单传播相同梯度而未考虑离散器输入输出间的离散化误差。本文中，我们提出逐元素梯度缩放(EWGS)，一种简单而有效的 STE 替代方案，在稳定性与精度上优于 STE 训练量化网络。给定离散器输出的梯度，EWGS 自适应地放大或缩小各梯度元素，并将缩放后梯度作为离散器输入的梯度通过反向传播训练量化网络。缩放依据各梯度元素的符号及离散器连续输入与离散输出间的误差进行。我们利用网络的 Hessian 信息自适应调整缩放因子。我们在图像分类数据集（包括 CIFAR-10 与 ImageNet）上以多样网络架构和广泛位宽设置展示了大量实验结果，证明了方法的有效性。
引用
@article{arxiv.2104.00903,
title = {Network Quantization with Element-wise Gradient Scaling},
author = {Junghyup Lee and Dohyung Kim and Bumsub Ham},
journal= {arXiv preprint arXiv:2104.00903},
year = {2021}
}
备注
Accepted to CVPR 2021