基于影响函数的二阶通道剪枝——无需重训练即可评估真实损失变化用于剪枝是可行的

通道剪枝的一个挑战是设计高效且有效的准则来选择待剪枝通道。一个广泛使用的准则是最小性能退化。准确评估真实性能退化需要对保留的权重重训练至收敛，这慢得令人望而却步。因此现有剪枝方法使用先前权重（不重训练）来评估性能退化。然而，我们观察到有重训练和无重训练时损失变化差异显著。这促使我们开发一种无需重训练即可评估真实损失变化的技术，从而更可靠、更有把握地选择待剪枝通道。我们首先利用影响函数在不重训练的情况下推导了每一切换剪枝掩码的真实损失变化的闭式估计量。源自稳健统计学的影响函数揭示了训练样本对模型预测的影响，被我们重新用于评估对真实损失变化的影响。我们随后展示如何同时评估所有通道的重要性，并据此开发了一种新颖的全局通道剪枝算法。我们进行了大量实验来验证所提算法的有效性。据我们所知，我们首次证明了无需重训练评估剪枝的真实损失变化是可能的。这一发现将为区别于现有剪枝方法的一系列新范式开辟机会。代码见 https://github.com/hrcheng1066/IFSO。