基于旋转不变性的基变更剪枝

结构化剪枝会移除 entire 神经元或通道，但其有效性取决于表示空间中重要性的分布方式。基变更(Change-of-basis, CoB)剪枝通过应用正交线性变换来集中特定维度中的重要性。然而，许多标准深度学习架构并非针对此类变换本构成不变。为实现兼容性，我们引入两子空间径向激活(Two-subspace radial activations, TSRA)：一种在其两个激活子空间内独立应用正交线性变换时保持不变的激活函数族。这种不变性允许将 CoB 变换合并到周围的权重中，而无需额外参数。我们将本工作定位为一种证明概念，表明具有旋转不变性的设计可能为基变更剪枝提供一种原则方法。我们并未对多种 TSRA 候选方案进行分析，也未探索任何 TSRA 的权重初始化。这些限制以及我们为实现旋转不变性所做的其他必要修改，导致与基于 ReLU 的对照组相比精度下降 $4.52\%$。然而，使用激活幅度重要性，实现本 CoB+TSRA 框架的 VGG-16 在 CIFAR-10 上显示出令人鼓舞的结果。在固定比例结构化剪枝下，CoB 在所有剪枝比例上均优于 TSRA 基线，并将可靠剪枝前沿从约 $30\%$ 扩展到 $70\%$，且无需后期剪枝微调。在阈值化剪枝策略下，CoB 能剪除 $90-96\%$ 的参数，同时在微调后保持 $1-6\%$ 的精度下降。综上，这些结果表明，具有旋转不变性的架构可能为 CoB 剪枝提供了可行的路径。