PAC-Net：一种用于归纳迁移学习的模型剪枝方法
机器学习
2022-06-22 v2 人工智能
计算物理
应用统计
机器学习
摘要
归纳迁移学习旨在利用源任务上的预训练模型，从少量目标任务的训练数据中学习。涉及大规模深度学习模型的大多数策略采用预训练模型初始化并对目标任务进行微调。然而，当使用过参数化模型时，我们常常可以在不损害源任务精度的前提下对模型进行剪枝。这促使我们采用模型剪枝来进行深度学习模型的迁移学习。本文中，我们提出 PAC-Net，一种基于剪枝的简单而有效的迁移学习方法。PAC-Net 包含三个步骤：剪枝（Prune）、分配（Allocate）与校准（Calibrate）（PAC）。这些步骤背后的核心思想是识别对源任务至关重要的权重，通过更新关键权重在源任务上微调，然后通过更新其余冗余权重在目标任务上校准。在多样且广泛的归纳迁移学习实验中，我们表明我们的方法以大幅优势达到了最先进的性能。
引用
@article{arxiv.2206.05703,
title = {PAC-Net: A Model Pruning Approach to Inductive Transfer Learning},
author = {Sanghoon Myung and In Huh and Wonik Jang and Jae Myung Choe and Jisu Ryu and Dae Sin Kim and Kee-Eung Kim and Changwook Jeong},
journal= {arXiv preprint arXiv:2206.05703},
year = {2022}
}
备注
In Proceedings of the 39th International Conference on Machine Learning, Baltimore, Maryland, USA, PMLR 162, 2022