为何神经网络剪枝现状如此令人困惑？论网络剪枝中的公平性、比较设置与可训练性

一段时间以来，人们注意到神经网络剪枝的现状不甚明确甚至令人困惑，这在很大程度上是由于“缺乏标准化的基准和指标”[3]。为了标准化基准，我们首先需要回答：什么样的比较设置才被认为是公平的？遗憾的是，这个基本却至关重要的问题在社区中几乎未被澄清。同时，我们观察到多篇论文在剪枝实验中使用了（严重）次优的超参数，且其背后的原因也令人费解。这些次优超参数进一步加剧了基准的失真，使得神经网络剪枝的现状更加模糊。剪枝中的两个谜团代表了这种令人困惑的状态：较大微调学习率的性能提升效应，以及滤波器剪枝中继承预训练权重无价值的论点。在本工作中，我们试图通过揭开这两个谜团来解释网络剪枝令人困惑的现状。具体而言，（1）我们首先澄清剪枝实验中的公平性原则，并总结广泛使用的比较设置；（2）然后我们揭开这两个剪枝谜团，并指出网络可训练性的核心作用，这一点迄今为止尚未得到充分认识；（3）最后，我们对论文进行总结，并就未来如何校准剪枝基准给出一些具体建议。代码：https://github.com/mingsun-tse/why-the-state-of-pruning-so-confusing。