IPPRO：基于重要性的剪枝搭配射影偏移实现幅度无偏结构化剪枝

随着对神经网络压缩方法需求的增长，结构化剪枝方法包括重要性方法正在积极研究。magnitude重要性和许多相关现代重要性准则常常限制剪枝决策的容量，因为幅度较大的滤波器如果较小的一个没有被剪枝，即使它是冗余的，也不太可能被剪枝。在本文中，我们提出一种新颖的剪枝策略，以挑战magnitude的支配作用，为每个滤波器提供公平的剪枝机会，通过将其置于射影空间上。在此之后，我们观察梯度下降运动滤波器是趋向原点还是不趋向原点，以衡量滤波器较可能被剪枝。这一度量用于构建PROscore，即IPPRO的新重要性得分，这是一种新的基于重要性的结构化剪枝方法，实现幅度无关。我们的评估结果表明，所提出的重要性准则使用射影空间实现了接近无损的剪枝，通过减少剪枝中的性能下降，在微调后表现前景良好。我们的工作解构了'尺寸 matters'剪枝中的神话，并在理论和实证方面扩展了基于重要性剪枝的前沿。