论迭代幅度剪枝如何在全连接神经网络中发现局部感受野

自从在彩票假设中使用以来，迭代幅度剪枝（IMP）已成为一种提取高性能稀疏子网络的流行方法。尽管取得了成功，但驱动IMP成功的机制仍不清楚。一种可能性是，IMP能够提取具有良好归纳偏置的子网络，从而促进性能提升。支持这一观点的是，最近的研究表明，将IMP应用于全连接神经网络（FCN）会导致局部感受野（RF）的出现，这是哺乳动物视觉皮层和卷积神经网络中促进图像处理的一个特征。然而，IMP为何首先会发现局部特征仍不清楚。受到在具有高度非高斯统计特性（例如，锐利边缘）的合成图像上训练足以促使FCN中出现局部感受野这一结果的启发，我们假设IMP迭代地增加了FCN表示的非高斯统计特性，形成了一个增强局部化的反馈回路。首先，我们证明了非高斯输入统计特性确实是IMP发现局部感受野所必需的。然后，我们开发了一种新方法来衡量单个权重对FCN表示统计特性的影响（“空腔方法”），这使我们能够证明IMP系统地增加了预激活的非高斯性，从而导致局部感受野的形成。我们的工作是首次研究IMP对神经网络表示统计特性影响的工作，为IMP如何驱动强归纳偏置的形成提供了一种简洁的解释。