通过权重与激活的联合量化与剪枝训练深度神经网络
机器学习
2021-11-02 v2 计算机视觉与模式识别
摘要
量化和剪枝是用于降低深度神经网络推理成本的核心技术。当前最先进的量化技术被同时应用于权重和激活；然而，剪枝最常仅应用于网络的权重。在本工作中，我们在训练期间将新颖的均匀量化和非结构化剪枝方法联合应用于深度神经网络的权重和激活。使用我们的方法，我们在广泛的计算机视觉任务上实证评估了当前被接受的先剪枝后量化的范式，并观察到当应用于深度神经网络的权重和激活时存在非交换性。受这些观察的启发，我们阐明了非交换性假设：对于为特定任务训练的给定深度神经网络，存在一个精确的训练调度，其中可以引入量化和剪枝以优化网络性能。我们确定这种最优顺序不仅存在，而且在不同判别性和生成性任务间有所变化。在我们的训练框架内使用最优训练调度，我们展示了相比现有方案在每内存占用量上获得更高的性能。
引用
@article{arxiv.2110.08271,
title = {Training Deep Neural Networks with Joint Quantization and Pruning of Weights and Activations},
author = {Xinyu Zhang and Ian Colbert and Ken Kreutz-Delgado and Srinjoy Das},
journal= {arXiv preprint arXiv:2110.08271},
year = {2021}
}