基于可微掩码的操作感知软通道剪枝

我们提出了一种简单而有效的数据驱动通道剪枝算法，其通过利用操作的特征以可微方式压缩深度神经网络。该方法对批归一化（BN）与修正线性单元（ReLU）进行联合考量以用于通道剪枝；它估计这两个连续操作使各特征图失活的可能性，并剪枝具有高概率的通道。为此，我们为各个通道学习可微掩码，并在整个优化过程中进行软决策，这有助于探索更大的搜索空间并训练更稳定的网络。所提框架使我们能够通过模型参数与通道剪枝的联合学习来识别压缩模型，而无需额外的微调过程。我们进行了大量实验，在与最先进方法资源用量相同的情况下，就输出网络的精度而言取得了优异性能。