不可思议的收缩神经网络：从剪枝视角看学习表示的新见解

剪枝算法能在多大程度上教会我们关于神经网络中学习表示的基础？这些基础在构建新剪枝技术时又能提供多少帮助？结果证明，很多。神经网络剪枝近年来成为备受关注的话题，许多不同技术被提出以解决此问题。关于剪什么以及何时剪的决定必然迫使我们直面关于神经网络如何实际学习表示数据中模式的假设。在这项工作中，我们着手检验几个关于神经网络学习表示、剪枝方法以及二者相关性的长期存在的假设。为此，我们主张修剪整个神经元，而非从最优训练网络中修剪权重的传统方法。我们首先回顾历史文献，指出其一些常见假设，并提出方法来展示这些假设中固有的缺陷。然后我们提出新的剪枝方法，并分析其所作决策的质量。我们的分析使我们质疑许多剪枝算法背后广泛持有的假设的有效性，以及我们常为降低计算复杂度而做出的权衡。我们发现，存在一种直接但昂贵的方法，可以串行修剪训练网络中40-70%的神经元，而对学习表示影响最小且无需任何重新训练。需注意，这项工作的动机并非提出一种优于所有现有方法的算法，而是阐明这些方法中的一些固有缺陷能教给我们关于学习表示的什么，以及这如何引导我们走向更优的剪枝技术。