对抗鲁棒的ImageNet模型迁移效果更好吗？
计算机视觉与模式识别
2020-12-09 v2 机器学习
机器学习
摘要
迁移学习是深度学习中广泛使用的范式，在标准数据集上预训练的模型可被高效适配到下游任务。通常，更好的预训练模型产生更好的迁移结果，表明初始准确率是对迁移学习性能的关键方面。在本工作中，我们确定了另一个这样的方面：我们发现对抗鲁棒模型虽然准确率较低，但在用于迁移学习时往往比标准训练的对应模型表现更好。具体而言，我们聚焦于对抗鲁棒的ImageNet分类器，并展示它们在标准下游分类任务套件上取得了改进的准确率。进一步分析揭示了鲁棒模型与标准模型在迁移学习背景下的更多差异。我们的结果与（事实上也补充了）近期关于鲁棒性带来改进的特征表示的假说一致。我们的代码和模型可在 https://github.com/Microsoft/robust-models-transfer 获取。
关键词
引用
@article{arxiv.2007.08489,
title = {Do Adversarially Robust ImageNet Models Transfer Better?},
author = {Hadi Salman and Andrew Ilyas and Logan Engstrom and Ashish Kapoor and Aleksander Madry},
journal= {arXiv preprint arXiv:2007.08489},
year = {2020}
}
备注
NeurIPS 2020