Renofeation：一种用于提升对抗鲁棒性的简单迁移学习方法
机器学习
2021-04-30 v2 密码学与安全
计算机视觉与模式识别
机器学习
摘要
通过在大规模数据集上预训练模型进行知识迁移的微调，是有效在小规模数据集上构建模型的广泛使用方法。在本工作中，我们展示了一种近期设计的、通过重新训练最后线性层用于迁移学习的对抗攻击，能够成功欺骗通过端到端微调的迁移学习训练的模型。这为许多工业应用带来了安全担忧。相比之下，无迁移、随机初始化的模型对此类攻击要鲁棒得多，尽管这些模型常表现出低得多的准确率。为此，我们提出噪声特征蒸馏，一种从随机初始化训练网络同时取得与微调相竞争的干净数据性能的新的迁移学习方法。代码见 https://github.com/cmu-enyac/Renofeation。
引用
@article{arxiv.2002.02998,
title = {Renofeation: A Simple Transfer Learning Method for Improved Adversarial Robustness},
author = {Ting-Wu Chin and Cha Zhang and Diana Marculescu},
journal= {arXiv preprint arXiv:2002.02998},
year = {2021}
}
备注
2021 IEEE CVPR Workshop on Fair, Data Efficient and Trusted Computer Vision