EDropout：基于能量的深度神经网络丢弃与剪枝

Dropout 是一种众所周知的正则化方法，通过从更大的深度神经网络中采样子网络，并在数据的不同子集上训练不同子网络。受 dropout 概念启发，我们提出 EDropout 作为一种基于能量的框架，用于分类任务中的神经网络剪枝。在该方法中，一组二元剪枝状态向量（种群）表示任意给定原始神经网络的一组对应子网络。能量损失函数为每个剪枝状态赋予一个标量能量损失值。基于能量的模型随机演化该种群以寻找具有更低能量损失的状态。随后选取最佳剪枝状态并应用于原始网络。类似于 dropout，保留的权重在概率模型中使用反向传播进行更新。基于能量的模型再次搜索更优剪枝状态，循环持续。实际上，该过程是在每个迭代中于管理剪枝状态的能量模型与更新临时未剪枝权重的概率模型之间切换。种群可动态收敛至某一剪枝状态。这可解释为 dropout 导致网络被剪枝。从实现角度看，EDropout 可在不修改网络架构的情况下剪枝典型神经网络。我们在 Kuzushiji、Fashion、CIFAR-10、CIFAR-100 和 Flowers 数据集上对不同变体的 ResNets、AlexNet 和 SqueezeNet 评估了所提方法，并比较了模型的剪枝率与分类性能。平均而言，使用 EDropout 训练的网络的训练参数剪枝率超过 $50\%$，Top-1 与 Top-5 分类准确率下降分别约为 $<5\%$ 与 $<1\%$。