超越预训练特征：噪声图像建模提供对抗防御
计算机视觉与模式识别
2023-11-10 v3
摘要
掩码图像建模（MIM）近来的进展已使其成为自监督视觉表征学习的主流框架。像大多数深度神经网络方法一样，MIM 预训练模型仍易受对抗攻击，这限制了其实际应用，且该问题鲜有研究关注。本文探讨这一强大的自监督学习范式如何为下游分类器提供对抗鲁棒性。在探索中，我们发现噪声图像建模（NIM）——一种以去噪为前置任务、MIM 的简单变体——尽管存在严重损坏，仍能惊人地很好地重建噪声图像。受此观察启发，我们提出一种称为 De^3 的对抗防御方法，利用预训练解码器进行去噪。通过 De^3，NIM 能够超越提供预训练特征而增强对抗鲁棒性。此外，我们引入一个简单修改，即从随机分布中采样噪声尺度超参数，使防御在准确率和鲁棒性之间实现更好且可调的权衡。实验结果表明，在对抗鲁棒性方面，得益于其有效的去噪能力，NIM 优于 MIM。而且，NIM 提供的防御在与对抗训练性能相当的同时，还具备额外的可调性优势。源代码与模型见 https://github.com/youzunzhi/NIM-AdvDef。
引用
@article{arxiv.2302.01056,
title = {Beyond Pretrained Features: Noisy Image Modeling Provides Adversarial Defense},
author = {Zunzhi You and Daochang Liu and Bohyung Han and Chang Xu},
journal= {arXiv preprint arXiv:2302.01056},
year = {2023}
}
备注
NeurIPS 2023