Catalyst：一种用于结构化剪枝的新型正则化器，通过参数空间的辅助扩展实现

结构化剪枝旨在通过删除整个滤波器或通道来减少深度神经网络的大小和计算成本。传统正则化器如L1或Group Lasso及其变体导致magnitude偏置的剪枝决策，使得幅度较小的滤波器较可能被剪枝。此外，它们常常导致剪枝结果在剪枝决策边界附近几乎为零边际，以至于对滤波器幅度的微小扰动会翻转剪枝决策。在本文中，我们在精确的代数条件下识别了保存模型性能的剪枝操作，并据此构建在通过辅助催化变量扩展的参数空间中定义的新型正则化器。所提出的Catalyst正则化确保每个滤波器都有公平的剪枝机会，理论上对其幅度没有偏见，并通过幅度在保留滤波器和被剪枝滤波器之间实现宽边际而实现稳健的剪枝行为。这些理论特性自然导致在实际中有效，如同通过各数据集和模型的实证验证所示。Catalyst剪枝在各种数据集和模型上的剪枝结果优于当前最先进的滤波器剪枝方法，同时确认了Catalyst剪枝在鲁棒性和公平性剪枝特征的预测。