基于最近任务的元投票剪枝：面向下游任务的预训练模型剪枝
机器学习
2023-01-30 v1
摘要
随着若干大规模预训练模型成为各类应用的主要选择，模型剪枝面临新的挑战，例如：我们能否避免为每个下游任务从零开始剪枝同一模型？如何复用先前任务的剪枝结果来加速新任务的剪枝？为应对这些挑战，我们从相似任务的已剪枝模型为新任务创建一个小模型。我们表明，该模型上少量的微调步骤即足以产生一个前景良好的新任务剪枝模型。我们在有限剪枝迭代预算下，针对两类主要预训练模型——卷积神经网络（CNN）与视觉Transformer（ViT）——研究了这种基于最近任务的“元剪枝”。我们的研究首先考察相似任务剪枝模型的重叠情况，以及该重叠在不同层与块间的变化。受这些发现的启发，我们提出了一种简单而有效的“元投票剪枝（MVP）”方法，通过从其最近任务的剪枝模型初始化子网络，显著减少新任务的剪枝迭代。在实验中，我们通过多个数据集上与流行剪枝方法的广泛实证研究与对比，展示了 MVP 在准确率、效率与泛化性上的优势。
引用
@article{arxiv.2301.11560,
title = {Voting from Nearest Tasks: Meta-Vote Pruning of Pre-trained Models for Downstream Tasks},
author = {Haiyan Zhao and Tianyi Zhou and Guodong Long and Jing Jiang and Chengqi Zhang},
journal= {arXiv preprint arXiv:2301.11560},
year = {2023}
}