MIMIR：基于互信息的掩码图像建模对抗鲁棒性方法
计算机视觉与模式识别
2025-12-17 v5 人工智能
摘要
视觉Transformer（ViTs）已成为一种基础架构，并作为现代视觉-语言模型的骨干。尽管性能卓越，ViTs对逃避攻击表现出显著的脆弱性，因此需要开发针对其独特架构的专用对抗训练（AT）策略。虽然一个直接的解决方案可能是将现有的AT方法应用于ViTs，但我们的分析揭示了显著的不兼容性，特别是与最先进（SOTA）的方法，如Generalist（CVPR 2023）和DBAT（USENIX Security 2024）。本文对ViTs的对抗鲁棒性进行了系统性研究，并为其基于自编码器的自监督预训练提供了一种新颖的理论互信息（MI）分析。具体而言，我们证明了在基于ViT的自编码器中，对抗样本与其潜在表示之间的MI应通过推导出的MI界限进行约束。基于这一见解，我们提出了一种自监督AT方法MIMIR，该方法利用MI惩罚，通过掩码图像建模与自编码器来促进对抗预训练。在CIFAR-10、Tiny-ImageNet和ImageNet-1K上的大量实验表明，MIMIR能够持续提供改进的自然准确率和鲁棒准确率，其中MIMIR在ImageNet-1K上优于SOTA的AT结果。值得注意的是，MIMIR对未预见攻击和常见损坏数据表现出优越的鲁棒性，并且能够抵御对手完全了解防御机制的自适应攻击。我们的代码和训练模型已公开在：https://github.com/xiaoyunxxy/MIMIR。
引用
@article{arxiv.2312.04960,
title = {MIMIR: Masked Image Modeling for Mutual Information-based Adversarial Robustness},
author = {Xiaoyun Xu and Shujian Yu and Zhuoran Liu and Stjepan Picek},
journal= {arXiv preprint arXiv:2312.04960},
year = {2025}
}
备注
Accepted by NDSS 2026