SASL：用于神经网络加速的显著性自适应稀疏学习
计算机视觉与模式识别
2020-07-31 v3 机器学习
摘要
加速 CNN 的推理速度对其在真实应用场景中的部署至关重要。在所有剪枝方法中，那些实现稀疏学习框架的方法已被证明是有效的，因为它们以端到端数据驱动的方式学习和剪枝模型。然而，这些工作对所有滤波器不加区分地施加相同的稀疏正则化，难以得到最优的结构稀疏网络。本文中，我们提出一种显著性自适应稀疏学习(SASL)方法以进一步优化。设计了一种新颖且有效的各滤波器显著性估计，从两个方面度量：对预测性能的重要性和所消耗的计算资源。在稀疏学习过程中，正则化强度根据显著性进行调整，因此我们优化后的形式能在清零更多计算密集型滤波器的同时更好地保持预测性能。显著性的计算给训练过程引入了极小开销，这意味着我们的 SASL 非常高效。在剪枝阶段，为优化所提出的数据相关准则，采用了难样本挖掘策略，展现出更高的有效性与效率。大量实验证明了我们方法的优越性能。值得注意的是，在 ILSVRC-2012 数据集上，我们的方法能减少 ResNet-50 的 49.7% FLOPs，而 top-1 精度仅下降可忽略的 0.39%，top-5 精度下降 0.05%。
引用
@article{arxiv.2003.05891,
title = {SASL: Saliency-Adaptive Sparsity Learning for Neural Network Acceleration},
author = {Jun Shi and Jianfeng Xu and Kazuyuki Tasaka and Zhibo Chen},
journal= {arXiv preprint arXiv:2003.05891},
year = {2020}
}
备注
Accepted to IEEE Transactions on Circuits and Systems for Video Technology