ViT-EnsembleAttack: 增强视觉转换器集成模型对抗迁移性
计算机视觉与模式识别
2025-08-19 v1 密码学与安全
摘要
集成攻击已被证明通过聚合各种体系结构模型的输出来增强对抗迁移性是有效的。然而,现有研究主要 focuses on 细化集成权重或优化集成路径,忽略了探索集成模型以增强对抗攻击迁移性的潜力。为此,我们提出了对 surrogate 模型应用对抗增强以提升整体泛化性并降低对抗过拟合风险。同时,观察到集成视觉转换器(ViT)获得了不够的关注,我们提出了基于模型对抗增强的 ViT-EnsembleAttack,这是一种针对 ViT 的首个基于集成的攻击方法。我们的方法通过三种策略生成增强后的模型:Multi-head 丢弃、注意力得分缩放和 MLP 特征混合,并通过贝叶斯优化来优化相关参数。这些对抗增强后的模型被集成以生成对抗性示例。此外,我们引入了自动重加权和步长放大模块以提升迁移性。广泛的实验表明,ViT-EnsembleAttack 在 ViT 上显著增强了集成攻击的对抗迁移性,显著优于现有方法。代码可在 https://github.com/Trustworthy-AI-Group/TransferAttack 查阅。
引用
@article{arxiv.2508.12384,
title = {ViT-EnsembleAttack: Augmenting Ensemble Models for Stronger Adversarial Transferability in Vision Transformers},
author = {Hanwen Cao and Haobo Lu and Xiaosen Wang and Kun He},
journal= {arXiv preprint arXiv:2508.12384},
year = {2025}
}