对比学习在从预训练到微调过程中何时能保持对抗鲁棒性？
计算机视觉与模式识别
2021-11-02 v1 人工智能
机器学习
摘要
对比学习（CL）可以通过在其上微调一个线性分类器来学习可泛化的特征表示，并在下游任务上取得最先进的性能。然而，随着对抗鲁棒性在图像分类中变得至关重要，目前仍不清楚 CL 是否能够将鲁棒性保持到下游任务。主要挑战在于，在自监督预训练 + 监督微调的范式下，由于从预训练到微调的学习任务不匹配，对抗鲁棒性很容易被遗忘。我们将这一挑战称为“跨任务鲁棒性可迁移性”。为解决上述问题，本文从鲁棒性增强的视角重新审视并推进了 CL 原则。我们表明：（1）对比视图的设计至关重要：图像的高频成分有助于提升模型鲁棒性；（2）用伪监督刺激（例如借助特征聚类）增强 CL 有助于在不遗忘的情况下保持鲁棒性。借助我们的新设计，我们提出了 AdvCL，一种新颖的对抗对比预训练框架。我们表明，AdvCL 能够增强跨任务鲁棒性可迁移性，且不损失模型准确率和微调效率。通过详尽的实验研究，我们证明了 AdvCL 在多个数据集（CIFAR-10、CIFAR-100 和 STL-10）和微调方案（线性评估和全模型微调）上均优于最先进的自监督鲁棒学习方法。
引用
@article{arxiv.2111.01124,
title = {When Does Contrastive Learning Preserve Adversarial Robustness from Pretraining to Finetuning?},
author = {Lijie Fan and Sijia Liu and Pin-Yu Chen and Gaoyuan Zhang and Chuang Gan},
journal= {arXiv preprint arXiv:2111.01124},
year = {2021}
}
备注
NeurIPS 2021. Code is available at https://github.com/LijieFan/AdvCL