CARTL：协作式对抗鲁棒迁移学习
机器学习
2021-06-15 v1
摘要
迁移学习减轻了从零开始训练性能良好模型的负担，尤其在训练数据稀缺且计算能力受限时。在深度学习中，迁移学习的典型策略是冻结预训练模型的前几层，并在目标域上微调其余层。先前工作关注迁移模型的准确率，却忽视了对抗鲁棒性的迁移。本工作中，我们首先表明迁移学习提升了目标域上的准确率，但降低了目标模型所继承的鲁棒性。为解决该问题，我们提出一种新颖的协作式对抗鲁棒迁移学习(CARTL)，通过特征距离最小化预训练模型，并以非扩张微调对预训练模型在目标域任务上微调。实证结果显示，在相同准确率程度下，CARTL相较基线最多将继承的鲁棒性提升约28%。此外，我们研究了批归一化(BN)层与鲁棒性在迁移学习背景下的关系，并揭示冻结BN层可进一步增强鲁棒性迁移。
引用
@article{arxiv.2106.06667,
title = {CARTL: Cooperative Adversarially-Robust Transfer Learning},
author = {Dian Chen and Hongxin Hu and Qian Wang and Yinli Li and Cong Wang and Chao Shen and Qi Li},
journal= {arXiv preprint arXiv:2106.06667},
year = {2021}
}
备注
Published as a conference paper at ICML 2021