探索模型剪枝中的权重重要性与海森偏置

模型剪枝是构建紧凑且计算高效的机器学习模型的基本步骤。一个好的剪枝算法的关键特征是能准确量化模型权重的相对重要性。尽管模型剪枝有着丰富的历史，但即使对于涉及线性模型或浅层神经网络的相对简单问题，我们仍未能完全掌握剪枝机制。在这项工作中，我们基于一种自然的重要性概念对剪枝进行了原则性探索。对于线性模型，我们表明该重要性概念由协方差缩放刻画，并与著名的基于海森的剪枝相关联。我们随后推导出允许精确比较不同剪枝方法性能的渐近公式。对于神经网络，我们证明了重要性可能与较大幅值相悖，且恰当的初始化对基于幅值的剪枝至关重要。具体而言，我们识别出权重变得更小却变得更重要的情况，这进而导致基于幅值的剪枝发生灾难性失败。我们的结果还阐明，以海森结构形式的隐式正则化在识别决定剪枝性能的重要权重方面具有催化作用。