基于敏感性的端到端滤波器剪枝
计算机视觉与模式识别
2022-04-18 v1 人工智能
机器学习
摘要
在本文中，我们提出一种新颖的基于敏感性的滤波器剪枝算法（SbF-Pruner），以端到端方式学习每一层滤波器的重要性分数。我们的方法从滤波器权重中学习分数，使其能够考虑每层滤波器之间的相关性。此外，通过同时训练所有层的剪枝分数，我们的方法可以顾及层间相互依赖关系，而这对于寻找高性能的稀疏子网络至关重要。我们提出的方法可以在直接、单阶段训练过程中从零开始训练并生成剪枝后的网络，无需预训练网络。最终，我们不需要层特定的超参数和预定义的层预算，因为SbF-Pruner可以隐式确定每层合适的通道数。我们在不同网络架构上的实验结果表明，SbF-Pruner优于先进的剪枝方法。值得注意的是，在CIFAR-10上，无需预训练基线网络，与最先进剪枝算法报告的基线相比，我们在ResNet56和ResNet110上分别获得了1.02%和1.19%的准确率提升。与此同时，SbF-Pruner将参数量减少了52.3%（ResNet56）和54%（ResNet101），优于最先进剪枝算法的幅度分别达9.5%和6.6%。
引用
@article{arxiv.2204.07412,
title = {End-to-End Sensitivity-Based Filter Pruning},
author = {Zahra Babaiee and Lucas Liebenwein and Ramin Hasani and Daniela Rus and Radu Grosu},
journal= {arXiv preprint arXiv:2204.07412},
year = {2022}
}