重新思考数据增强在对抗对比学习中的作用
机器学习
2023-03-06 v2
摘要
近期工作表明，自监督学习与对抗训练（AT）结合时可获得显著的鲁棒性。然而，监督 AT（sup-AT）与自监督 AT（self-AT）之间的鲁棒性差距仍然显著。受此观察启发，我们重新审视现有的 self-AT 方法，并发现影响 self-AT 鲁棒性的一个固有困境：强或弱的数据增强都对 self-AT 有害，而中等强度不足以弥合差距。为解决该困境，我们提出一种名为 DYNACL（动态对抗对比学习）的简单补救方法。具体地，我们提出一种从强增强逐渐退火至弱增强的增强调度，以同时受益于两种极端情况。此外，我们采用快速后处理阶段使其适配下游任务。通过大量实验，我们表明 DYNACL 在 CIFAR-10 数据集上于 Auto-Attack 下将最先进的 self-AT 鲁棒性提升了 8.84%，并且首次甚至超越原始的监督对抗训练。我们的代码见 \url{https://github.com/PKU-ML/DYNACL}。
引用
@article{arxiv.2303.01289,
title = {Rethinking the Effect of Data Augmentation in Adversarial Contrastive Learning},
author = {Rundong Luo and Yifei Wang and Yisen Wang},
journal= {arXiv preprint arXiv:2303.01289},
year = {2023}
}
备注
ICLR 2023