突触剥离：剪枝如何使死亡神经元复活

修正线性单元（ReLU）是深度神经网络中激活函数的默认选择。尽管它们展现出优异的经验性能，ReLU 激活可能遭受死亡神经元问题。在这些情况下，馈入神经元的权重最终被推入一种状态，使得该神经元对所有输入输出为零。因此，对所有输入梯度也为零，这意味着馈入该神经元的权重无法更新。该神经元无法从直接反向传播中恢复，并且由于这些参数不能再被进一步优化，模型容量降低。受同名神经学过程启发，我们引入突触剥离（Synaptic Stripping）作为对抗该死亡神经元问题的方法。通过在训练期间自动移除有问题的连接，我们可以再生死亡神经元并显著提升模型容量与参数利用率。突触剥离易于实现，并产生比其所源自的稠密网络更高效的稀疏网络。我们进行若干消融研究以考察这些动态如何随网络宽度和深度变化，并在多种基准数据集上探索了将突触剥离用于 Vision Transformers。