基于位置的缩放梯度用于模型量化与剪枝
计算机视觉与模式识别
2020-11-12 v4 机器学习
摘要
我们提出了基于位置的缩放梯度（PSG），它根据权重向量的位置对梯度进行缩放，以使其更利于压缩。首先，我们从理论上证明，将 PSG 应用于标准梯度下降（GD）（称为 PSGD）等价于在扭曲权重空间中的 GD，该空间是通过适当设计的可逆函数对原始权重空间进行扭曲而得到的。其次，我们从经验上表明，PSG 作为权重向量的正则化器，有利于量化与剪枝等模型压缩领域。PSG 缩小了全精度模型与其压缩对应模型之间的权重分布差距。这使得模型能够根据资源可用性灵活地以未压缩模式或压缩模式部署。在 CIFAR-10/100 和 ImageNet 数据集上的实验结果展示了所提出的 PSG 在剪枝和量化两个领域甚至在极低比特下的有效性。代码已在 Github 上发布。
引用
@article{arxiv.2005.11035,
title = {Position-based Scaled Gradient for Model Quantization and Pruning},
author = {Jangho Kim and KiYoon Yoo and Nojun Kwak},
journal= {arXiv preprint arXiv:2005.11035},
year = {2020}
}
备注
Advances in Neural Information Processing Systems