面向计算最优的迁移学习
机器学习
2023-04-27 v1 人工智能
摘要
随着大型预训练模型的引入，迁移学习领域正经历重大转变，这些模型已展现出对多种下游任务的强适应性。然而，微调或使用这些模型的高计算与内存需求可能阻碍其广泛应用。在本研究中，我们提出一种解决方案，以简单而有效的方式在计算效率与渐近性能（我们定义为学习算法在计算趋于无穷时所达到的性能）之间进行权衡。具体而言，我们认为对预训练模型进行零样本结构化剪枝可使其提高计算效率，同时性能降低极小。我们在提供多样化迁移场景的 Nevis'22 持续学习基准上评估了我们的方法。结果表明，对预训练模型的卷积滤波器进行剪枝可在低计算量情形下带来超过 20% 的性能提升。
引用
@article{arxiv.2304.13164,
title = {Towards Compute-Optimal Transfer Learning},
author = {Massimo Caccia and Alexandre Galashov and Arthur Douillard and Amal Rannen-Triki and Dushyant Rao and Michela Paganini and Laurent Charlin and Marc'Aurelio Ranzato and Razvan Pascanu},
journal= {arXiv preprint arXiv:2304.13164},
year = {2023}
}