RUSH：基于随机平滑的鲁棒对比学习
机器学习
2022-11-01 v2 密码学与安全
计算机视觉与模式识别
摘要
近来，对抗训练被引入自监督对比预训练，以令人瞩目的对抗鲁棒性来增强标签效率。然而，这种鲁棒性是以昂贵的对抗训练为代价的。本文中，我们揭示了一个令人惊讶的事实：对比预训练与鲁棒性之间存在有趣而隐式的联系，并且预训练表征中这种天然的鲁棒性使我们能够设计一种强大的抗对抗攻击的鲁棒算法 RUSH，它结合了标准对比预训练与随机平滑。与对抗训练相比，它同时提升了标准准确率与鲁棒准确率，并显著降低了训练成本。我们通过大量实证研究表明，所提出的 RUSH 在常见基准（CIFAR-10、CIFAR-100 和 STL-10）上一阶攻击下，以显著优势优于对抗训练得到的鲁棒分类器。特别地，在 CIFAR-10 上施加大小为 8/255 的 -范数扰动的 PGD 攻击时，我们以 ResNet-18 为骨干的模型达到了 77.8% 的鲁棒准确率与 87.9% 的标准准确率。与当前最优方法相比，我们的工作在鲁棒准确率上提升了超过 15%，标准准确率也有轻微提升。
引用
@article{arxiv.2207.05127,
title = {RUSH: Robust Contrastive Learning via Randomized Smoothing},
author = {Yijiang Pang and Boyang Liu and Jiayu Zhou},
journal= {arXiv preprint arXiv:2207.05127},
year = {2022}
}
备注
incomplete validation, the defense strategy will fail when considering Expectation Over Test (EOT)