面向量化鲁棒性的梯度 $\ell_1$ 正则化
机器学习
2020-02-19 v1 机器学习
摘要
我们分析了量化神经网络的权重与激活对其损失的影响，并推导出一种简单的正则化方案，可提升针对训练后量化的鲁棒性。通过训练量化就绪网络，我们的方法能够存储单一权重集合，并可根据应用随能量与内存需求变化而按需量化为不同位宽。不同于仅针对特定位宽且需要访问训练数据与流水线的、使用直通估计器的量化感知训练，我们基于正则化的方法为面向各种位宽的“即时”训练后量化铺平了道路。我们展示，通过将量化建模为 -有界扰动，损失展开中的一阶项可利用梯度的 -范数进行正则化。我们在 CIFAR-10 与 ImageNet 数据集上针对不同架构实验验证了该正则化方案的有效性。
引用
@article{arxiv.2002.07520,
title = {Gradient $\ell_1$ Regularization for Quantization Robustness},
author = {Milad Alizadeh and Arash Behboodi and Mart van Baalen and Christos Louizos and Tijmen Blankevoort and Max Welling},
journal= {arXiv preprint arXiv:2002.07520},
year = {2020}
}
备注
ICLR 2020