ProxQuant：基于近端算子的量化神经网络
机器学习
2019-03-06 v3 机器学习
摘要
为使深度神经网络在资源受限环境（如移动设备）中可行，利用低精度权重对模型进行量化是有益的。量化神经网络的常用技术之一是直通梯度法，其使得通过量化映射进行反向传播成为可能。尽管该方法在经验上取得成功，但人们对其为何有效知之甚少。基于一个新颖发现，即直通梯度法事实上等同于在量化约束优化问题上的著名涅斯捷罗夫对偶平均算法，我们提出了一种更具原则性的替代方法，称为ProxQuant，它将量化网络训练表述为正则化学习问题，并通过近端梯度法进行优化。ProxQuant在底层全精度向量上进行反向传播，并在随机梯度步之间应用高效的近端算子以鼓励量化性。对于ResNets和LSTMs的量化，ProxQuant在二值量化上优于最先进的结果，并在多比特量化上与最先进水平相当。对于二值量化，我们的分析从理论和实验上表明ProxQuant比直通梯度法（即BinaryConnect）更稳定，这挑战了直通梯度法的不可或缺性，并提供了一个强有力的替代方案。
引用
@article{arxiv.1810.00861,
title = {ProxQuant: Quantized Neural Networks via Proximal Operators},
author = {Yu Bai and Yu-Xiang Wang and Edo Liberty},
journal= {arXiv preprint arXiv:1810.00861},
year = {2019}
}