通过可学习缩放因子实现全面在线网络剪枝
计算机视觉与模式识别
2020-10-07 v1 机器学习
摘要
部署深度神经网络架构的主要挑战之一是其规模，这对推理时间与内存需求有不利影响。深度 CNN 可按宽度剪枝（依据重要性移除滤波器）或按深度剪枝（移除层与块）。宽度剪枝（滤波器剪枝）通常通过可学习门或开关及稀疏正则化实现，而层的剪枝迄今多通过手动设计更小的网络（常称学生网络）任意进行。我们提出一种可同时执行宽度与深度剪枝的全面剪枝策略。这是通过在不同粒度（神经元、滤波器、层、块）引入门，并由目标函数控制，在每次前向传播中同时以不同粒度进行剪枝来实现的。我们的方法适用于多种架构，对空间维度或连接类型（顺序、残差、并行或 inception）无任何约束。在基准数据集上评估时，我们的方法实现了 70% 至 90% 的压缩率且无显著精度损失。
引用
@article{arxiv.2010.02623,
title = {Comprehensive Online Network Pruning via Learnable Scaling Factors},
author = {Muhammad Umair Haider and Murtaza Taj},
journal= {arXiv preprint arXiv:2010.02623},
year = {2020}
}
备注
Submitted to WACV2021