通道剪枝中显著性度量的分类体系
机器学习
2022-05-06 v2 机器学习
摘要
剪枝不重要的参数可使深度神经网络（DNNs）降低其繁重的计算与存储需求。显著性度量估计哪些参数可在对 DNN 分类性能影响甚微的情况下被安全剪枝。已提出许多显著性度量，各自处于更广泛的剪枝算法背景中。其结果是，难以将显著性度量的有效性与其外围的更广泛剪枝算法分离。看似相似的显著性度量会因看似微小的设计选择而产生非常不同的结果。我们基于四个基本正交的主成分提出一种显著性度量的分类体系。我们表明剪枝文献中广泛的度量可按这些成分分组。我们的分类体系不仅作为对已有工作的指南，还允许我们通过探索分类成分的新组合来构造新的显著性度量。我们对 300 多个显著性度量进行了深入实验研究。我们的结果对开放研究问题给出了决定性回答，并展示了在剪枝权重组时归约与缩放的重要性。我们发现一些构造的度量在卷积神经网络通道剪枝上优于现有最佳 SOTA 度量。
引用
@article{arxiv.1906.04675,
title = {Taxonomy of Saliency Metrics for Channel Pruning},
author = {Kaveena Persand and Andrew Anderson and David Gregg},
journal= {arXiv preprint arXiv:1906.04675},
year = {2022}
}