学习型步长量化
机器学习
2020-05-08 v3 机器学习
摘要
在推理时使用低精度运算的深度网络相比高精度方案具有功耗与空间优势，但需克服精度下降时保持高精度的挑战。本文提出一种训练此类网络的方法——学习型步长量化（Learned Step Size Quantization），在使用来自多种架构、权重与激活量化为 2、3 或 4 位精度的模型时，于 ImageNet 数据集上取得了迄今最高精度，并且能训练出达到全精度基线精度的 3 位模型。我们的方法在现有量化网络权重学习方法的基上，改进了量化器自身的配置方式。具体而言，我们引入一种新颖手段，在各权重层与激活层量化器步长处估计并缩放任务损失梯度，使其能与其他网络参数联合学习。该方法可按给定系统所需使用不同精度级别，且仅需对现有训练代码做简单修改。
引用
@article{arxiv.1902.08153,
title = {Learned Step Size Quantization},
author = {Steven K. Esser and Jeffrey L. McKinstry and Deepika Bablani and Rathinakumar Appuswamy and Dharmendra S. Modha},
journal= {arXiv preprint arXiv:1902.08153},
year = {2020}
}
备注
International Conference on Learning Representations (2020)