对抗鲁棒性：从自监督预训练到微调
计算机视觉与模式识别
2020-03-31 v1 机器学习
摘要
自监督的预训练模型被广泛用于更快地微调下游任务或获得更好的精度。然而，从预训练中获得的鲁棒性尚未被探索。我们首次将对抗训练引入自监督，以提供通用的鲁棒预训练模型。我们发现这些鲁棒预训练模型可在两方面有益于后续微调：i）提升最终模型的鲁棒性；ii）若继续进行对抗微调，节省计算成本。我们进行了大量实验证明，与传统的端到端对抗训练基线相比，所提框架取得了较大的性能优势（例如在 CIFAR-10 数据集上鲁棒精度提升 3.83%，标准精度提升 1.3%）。此外，我们发现不同的自监督预训练模型具有多样的对抗脆弱性。这启发我们集成若干预训练任务，从而进一步提升鲁棒性。我们的集成策略在 CIFAR-10 上进一步提升了 3.59% 的鲁棒精度，同时保持略高的标准精度。我们的代码可在 https://github.com/TAMU-VITA/Adv-SS-Pretraining 获取。
引用
@article{arxiv.2003.12862,
title = {Adversarial Robustness: From Self-Supervised Pre-Training to Fine-Tuning},
author = {Tianlong Chen and Sijia Liu and Shiyu Chang and Yu Cheng and Lisa Amini and Zhangyang Wang},
journal= {arXiv preprint arXiv:2003.12862},
year = {2020}
}
备注
CVPR 2020