Bayesian Bits：统一量化与剪枝
机器学习
2020-10-28 v3 计算机视觉与模式识别
机器学习
摘要
我们提出 Bayesian Bits，一种通过基于梯度的优化实现联合混合精度量化与剪枝的实用方法。Bayesian Bits 采用一种新颖的量化操作分解，依次考虑将位宽加倍。在每一新位宽处，对全精度值与先前舍入值之间的残差误差进行量化。然后我们决定是否加入该量化残差误差以获更高有效位宽与更低量化噪声。从 2 的幂次位宽起步，该分解将始终产生硬件友好配置，并通过额外的 0 位选项，作为剪枝与量化的统一视角。Bayesian Bits 进而引入可学习随机门，集体控制给定张量的位宽。因此，我们可通过在门上执行近似推断获得低位解，其先验分布促使多数门被关闭。我们在若干基准数据集上实验验证所提方法，表明可学习经剪枝的混合精度网络，在精度与效率间提供优于静态位宽等价网络的权衡。
引用
@article{arxiv.2005.07093,
title = {Bayesian Bits: Unifying Quantization and Pruning},
author = {Mart van Baalen and Christos Louizos and Markus Nagel and Rana Ali Amjad and Ying Wang and Tijmen Blankevoort and Max Welling},
journal= {arXiv preprint arXiv:2005.07093},
year = {2020}
}