面向设备上快速适配预训练模型的一次性剪枝
计算机视觉与模式识别
2023-07-11 v1 机器学习
摘要
大规模预训练模型在解决下游任务方面取得了显著成功。然而，在低端设备上部署这些模型仍需要一种有效方法，例如模型剪枝。鉴于每个下游任务或设备的资源有限，从零开始剪枝模型会带来实际挑战。为解决此问题，我们提出了一种可扩展的一次性剪枝方法，利用相似任务的剪枝知识从预训练模型中为新任务提取子网络。具体而言，我们使用相似任务的剪枝模型生成得分掩码，以识别预训练模型中新任务特定的滤波器/节点。基于该掩码，我们进行单轮剪枝以提取尺寸合适的子网络，该子网络仅需少量训练迭代即可快速适配新任务。我们的实验分析证明了所提方法在卷积神经网络(CNNs)和视觉Transformer(ViT)及多个数据集上的有效性。在处理具有不同内存约束的多样化下游任务时，所提方法在准确率和效率上始终优于流行的剪枝基线方法。
引用
@article{arxiv.2307.04365,
title = {One-Shot Pruning for Fast-adapting Pre-trained Models on Devices},
author = {Haiyan Zhao and Guodong Long},
journal= {arXiv preprint arXiv:2307.04365},
year = {2023}
}