激励丢弃：促进深度神经网络的可塑性

我们提出了一种基于网络预测证据（定义为特定路径中神经元的激活）的深度网络引导丢弃正则化器。在这项工作中，我们利用每个神经元的证据来确定丢弃概率，而不是像标准 dropout 那样均匀随机地丢弃神经元。本质上，我们以更高的概率丢弃那些在训练时更多参与决策的神经元。这种方法惩罚了对模型预测最为相关的高显著性神经元，即那些具有更强证据的神经元。通过丢弃此类高显著性神经元，网络被迫学习替代路径以维持损失最小化，从而产生一种类似可塑性的行为，这也是人脑的特征之一。我们在四个图像/视频识别基准上使用若干指标展示了更好的泛化能力、更高的网络神经元利用率以及对网络压缩更高的鲁棒性。