基于动态通道掩码的深度神经网络自动剪枝

现代深度神经网络模型规模大且计算密集。对此问题的一种典型解决方案是模型剪枝。然而，当前大多数剪枝算法依赖于手工规则或领域专业知识。为克服该问题，受近期自动机器学习（AutoML）启发，我们提出一种基于学习的深度神经网络自动剪枝算法。首先构建一个以权重与各层最佳通道为目标的双目标问题。随后提出一种交替优化方法，以同时导出最优通道数与权重。在剪枝过程中，我们利用可搜索超参数——保留比例——来表示每个卷积层中的通道数量，并提出一种动态掩码过程来描述相应的通道演化。为控制模型精度与浮点运算剪枝率之间的权衡，进一步引入了一种新颖的损失函数。在基准数据集上的初步实验结果表明，我们的方案在神经网络剪枝方面取得了具有竞争力的结果。