剪枝神经网络的无训练恢复

尽管网络剪枝已被广泛用于压缩深度神经网络，但其最终的准确性在很大程度上依赖于一个通常计算成本高昂且需要原始数据的微调过程。然而，在现实场景中可能并非如此，因此近期有一些工作尝试在不进行任何昂贵再训练过程的情况下恢复剪枝后的网络。它们的一个强假设是，每个被剪枝的神经元都可以被另一个与其非常相似的神经元所替代，但不幸的是，这在许多神经网络中并不成立，因为在某些层中神经元之间的相似性极低。在本文中，我们提出了一种更严格、更鲁棒的、以无微调且无数据的方式恢复剪枝网络的方法，称为LBYL（离开前留下）。LBYL显著放宽了上述假设，其方式是让每个被剪枝的神经元将其信息片段留给尽可能多的保留神经元，从而多个神经元共同获得对刚刚离开的神经元原始输出的更鲁棒的近似。我们的方法基于对如何公式化原始网络与其近似之间重建误差的理论分析，这很好地导出了我们推导出的损失函数的闭式解。通过大量实验，LBYL被证实确实更有效地近似原始网络，因此与利用两个神经元之间相似性的近期方法相比，能够为恢复的网络实现更高的准确性。这项工作的最初版本，包含主要的技术和理论组件，已提交至NeurIPS 2021和ICML 2022。