鲁棒子网络迁移更佳：在迁移学习中抽取更具可迁移性的子网络
机器学习
2025-01-07 v3
摘要
迁移学习利用在数据源任务上以丰富数据预训练的深度神经网络（DNNs）的特征表示，以赋能下游任务上的有效微调。然而，预训练模型往往过于庞大，难以提供可泛化表示，这限制了其在资源受限的边缘设备上的部署。为弥补这一差距，我们提出一种新的迁移学习流程，其利用了我们的发现：鲁棒票（robust tickets）可迁移更佳，即，以恰当引入的对抗鲁棒性抽取的子网络，相比原始彩票票（lottery ticket）子网络能赢得更好的可迁移性。大量实验与消融研究证实，我们提出的迁移学习流程能在多样的下游任务与稀疏模式上实现增强的准确率-稀疏性权衡，进一步丰富了彩票票假设。
引用
@article{arxiv.2304.11834,
title = {Robust Tickets Can Transfer Better: Drawing More Transferable Subnetworks in Transfer Learning},
author = {Yonggan Fu and Ye Yuan and Shang Wu and Jiayi Yuan and Yingyan Celine Lin},
journal= {arXiv preprint arXiv:2304.11834},
year = {2025}
}
备注
Accepted by DAC 2023