利用自监督 Vision Transformer 特征提升生成式对抗可迁移性
计算机视觉与模式识别
2025-10-31 v2 密码学与安全
摘要
深度神经网络（DNN）的能力来源于从提供的数据中提取和解释特征。通过利用 DNN 的中间特征而非依赖硬标签，我们制作了能更有效泛化的对抗扰动，从而提升黑盒可迁移性。在以往的工作中，这些特征普遍来自监督学习。受自监督学习与 Transformer 架构之间出色协同作用的启发，本文探讨了利用自监督 Vision Transformer（ViT）表示是否能提升对抗可迁移性。我们提出了 dSVA——一种生成式双重自监督 ViT 特征攻击，它利用了来自对比学习（CL）的全局结构特征和来自掩码图像建模（MIM）的局部纹理特征，这是 ViT 的双重自监督学习范式。我们设计了一个新颖的生成式训练框架，该框架包含一个用于创建黑盒对抗样本的生成器，以及通过利用联合特征和自监督 ViT 的注意力机制来训练该生成器的策略。我们的研究结果表明，CL 和 MIM 使 ViT 关注不同的特征倾向，当将这些特征联合利用时，展现出极大的对抗泛化能力。通过破坏由自监督 ViT 蒸馏出的双重深度特征，我们获得了对各种架构模型的显著黑盒可迁移性，优于现有最优方法。代码可在 https://github.com/spencerwooo/dSVA 获取。
引用
@article{arxiv.2506.21046,
title = {Boosting Generative Adversarial Transferability with Self-supervised Vision Transformer Features},
author = {Shangbo Wu and Yu-an Tan and Ruinan Ma and Wencong Ma and Dehua Zhu and Yuanzhang Li},
journal= {arXiv preprint arXiv:2506.21046},
year = {2025}
}
备注
14 pages, 9 figures, accepted at ICCV 2025