子空间节点剪枝

在人工智能模型商业应用日益增长的今天，提升神经网络推理效率的重要性毋庸置疑。节点剪枝是一门移除计算单元（如神经元、滤波器、注意力头甚至整个层）的艺术，旨在显著减少推理时间的同时保持网络性能。在本研究中，我们提出将单元激活投影到一个正交子空间，在该子空间中不存在冗余活动，并且我们可以在其中剪枝节点，同时通过线性最小二乘法恢复丢失单元的影响。我们进一步表明，单元正交化的顺序可以被优化，以按其冗余度对单元进行最大程度的排序。最后，我们利用这些正交子空间，基于子空间中节点激活的相对尺度（等同于累积方差）自动确定逐层剪枝比例。我们的方法在基于 ImageNet 训练的 VGG-16、ResNet-50 和 DeiT 模型上匹配或超越了 SOTA 剪枝结果，同时计算成本比替代方法低至 24 倍。我们还证明了该方法可以一次性应用于 OPT LLM 模型，同样优于竞争方法。