SGLP: 基于相似性引导的快速深度模型分层分枝压缩方法

分层剪枝已成为一种有效的方法，用于在减少网络规模和提高计算效率的目的上删除预训练网络中冗余的层。然而，现有的分层剪枝方法大多忽略了复杂深度神经网络中不同层之间内在的联系和相互依赖。这一忽视可能导致被剪枝后的模型未能有效保留预训练网络的关键特性。为了解决这些限制，我们提出了一种基于相似性引导的层分区（SGLP）剪枝，这是一种新型的剪枝框架，利用表示相似性来指导高效且有信息的层删除，以压缩大型深度模型。我们的方法首先采用中心化核对齐（CKA）来量化层之间的表示相似性，从而揭示网络中的结构模式。随后，我们对相似性矩阵应用Fisher最优分段，以将网络划分为语义连贯的层分段。这一分段允许剪枝决策尊重层之间的相互依赖关系并保留关键知识。在每个分段内部，我们引入一种无需微调的重要性评估方法，利用GradNorm识别和删除目标分段内的冗余层。在图像分类任务和大型语言模型（LLM）上的实验结果表明，我们提出的SGLP在准确率和效率方面均优于当前最先进的方法。我们的 approach 实现了显著的模型压缩，同时保持最小的性能退化，非常适合部署在资源受限的环境中。