基于短视预言机的显著性度量组合用于通道剪枝
计算机视觉与模式识别
2021-06-25 v2 机器学习
机器学习
摘要
卷积神经网络（CNN）推理所需的计算与内存可通过从训练好的网络中剪除权重来减少。剪枝由剪枝显著性指导，其启发式地近似与移除特定权重相关的损失函数变化。已有许多剪枝信号被提出，但每种启发式的性能取决于具体的训练网络。这使得数据科学家面临困难的选择。当在整个剪枝过程中使用任一显著性度量时，我们面临该度量假设被推翻的风险，从而导致度量做出糟糕决策。理想情况下，我们可以结合不同显著性度量的优势。然而，尽管进行了广泛的文献回顾，我们未能找到任何关于组合不同显著性度量的先前工作。主要困难在于组合不同显著性度量的数值输出，它们不可直接比较。我们提出了一种组合若干基本剪枝显著性的方法，以利用各显著性度量表现良好的情形。我们的实验表明，显著性组合避免了各单独显著性所识别的许多糟糕剪枝选择。在大多数情况下，我们的方法比甚至最好的单个剪枝显著性找到了更好的选择。
引用
@article{arxiv.2004.03376,
title = {Composition of Saliency Metrics for Channel Pruning with a Myopic Oracle},
author = {Kaveena Persand and Andrew Anderson and David Gregg},
journal= {arXiv preprint arXiv:2004.03376},
year = {2021}
}