一次性剪枝所有东西

深度学习是解决认知任务的现代范式。然而，随着问题复杂度的增加，模型变得更深且计算上不可行，阻碍了在实际应用和资源受限的环境中的发展。广泛的研究表明，剪枝这些模型中的结构有效地减少模型复杂度并提高计算效率。成功的策略包括删除神经元（即滤波器、注意力头）或层，但两者不能同时进行。因此，同时剪枝不同结构仍是一个开放问题。为填补这一空白并利用消除神经元和层的双重好处，我们提出了一种新方法，能够一次性剪枝模型中的不同结构：给定两个候选子网络（修剪后的模型），一个来自层级剪枝，另一个来自神经元剪枝，我们的方法通过选择其父网络（生成子网络的网络）中表示相似性最高的那个来决定选择哪一个，使用 Centered Kernel Alignment 指标度量。反复迭代这个过程提供高度稀疏的模型，保留原始预测能力。在标准架构和基准测试上的大量实验表明，我们的方法有效且优于最先进的层和滤波器剪枝技术。在浮点运算的高程度减少时，大多数最先进的方法会降低准确率，而我们的方法要么提高准确率，要么仅出现最小的下降。在流行的 ResNet56 和 ResNet110 上，我们实现了 86.37% 和 95.82% 的 FLOPs 减少。此外，我们的修剪模型对对抗性和 out-of-distribution 样本具有鲁棒性，并为 GreenAI 迈出了重要一步，通过最高可达 83.31% 的碳排放减少。总体而言，我们相信本工作开启了剪枝的新章节。