用于更高效视觉适应的直接逐层剪枝

参数高效迁移学习（PETL）旨在使用有限的参数来适应大型预训练模型。虽然大多数PETL方法在训练期间更新添加的参数并冻结预训练权重，但任务特定的深层对跨域数据的影响极小，这带来了挑战，因为PETL无法修改它们，从而导致冗余的模型结构。结构化剪枝有效减少了模型冗余；然而，常见的剪枝方法由于基于剪枝率和数据的不同剪枝结构，往往导致存储参数过度增加。认识到存储参数量的问题，我们提出了一种直接的逐层剪枝方法，称为SLS，用于剪枝PETL迁移后的模型。通过从每层特征的角度评估参数，并利用基于t-SNE获得的低维空间中的聚类现象，使用聚类度量来评估当前参数，SLS有助于做出明智的剪枝决策。我们的研究表明，专注于存储剪枝索引的逐层剪枝解决了存储量问题。值得注意的是，主流的逐层剪枝方法可能不适用于评估PETL迁移模型中各层的重要性，因为其中大部分参数是预训练的，与下游数据集的相关性有限。与最先进的PETL方法进行的比较分析表明，剪枝后的模型在模型吞吐量和准确性之间取得了显著的平衡。此外，与传统的剪枝方法相比，SLS有效地减少了因不同剪枝结构而产生的存储开销，同时提高了剪枝后模型的准确性和速度。