更进一步的网络剪枝：从稀疏性到几何与线性区域

神经网络一个令人惊讶的特性是其连接可被剪枝的程度，且对精度几乎无影响。但当我们跨越参数稀疏性的临界水平时，进一步剪枝会导致精度骤降。这一下降或可反映模型复杂度的损失，而我们旨在避免之。本工作中，我们探究稀疏性如何影响由神经网络定义的线性区域的几何，并由此基于架构降低线性区域的期望最大数量。我们观察到剪枝对精度的影响类似于稀疏性对线性区域数量及我们所提最大数量界的影响。反之，我们发现跨层选择稀疏性以最大化我们的界，相较于在所有层中以相同稀疏性尽可能剪枝，往往能提升精度，从而为我们在何处剪枝提供指导。