基于块收益的剪枝：探索视觉 Transformer 块在域适应中的属性

视觉 Transformer 已在多个任务中树立了新的基准，但其高计算成本使得它们在资源受限的硬件上难以实用。网络剪枝通过移除不够重要的运算来降低计算复杂度，同时保持性能。然而，对模型进行域外数据上的剪枝会导致权重重要性的误评估，从而导致资源分配次优。在本工作中，我们发现任务敏感层最初未能在下游任务上提高特征表示，从而导致早期剪枝决策的性能损失。为了解决这一问题，我们引入了基于块收益的剪枝 (Pruning by Block Benefit, P3B)，这是一种利用块级别相对贡献来全局分配参数资源的剪枝方法。P3B 识别低影响组件以减少参数分配，同时保留关键组件。经典的剪枝掩码优化在试图重新激活零掩码元素时困难；相比之下，P3B 基于全局性能指标设置层级保持比率，确保了后期收敛块的重新激活。我们在大量实验中展示了 P3B 是一种最先进的剪枝方法，在迁移学习任务中效果尤为显著。值得注意的是，P3B 能够在 70% 参数减半的高稀疏度 regime 下保持高性能，仅损失 0.64% 的精度。