关于视觉Transformer对对抗样本的鲁棒性研究
计算机视觉与模式识别
2021-06-08 v2 机器学习
摘要
基于注意力网络的近期进展表明，Vision Transformer 在许多图像分类任务上可取得最先进或接近最先进的结果。这使 transformer 成为传统卷积神经网络（CNN）的有前景替代方案。尽管 CNN 已在对抗攻击方面被仔细研究，Vision Transformer 却并非如此。本文研究 Vision Transformer 对对抗样本的鲁棒性。我们对 transformer 安全性的分析分为三部分。首先，我们在标准白盒与黑盒攻击下测试 transformer。其次，我们研究对抗样本在 CNN 与 transformer 间的可迁移性。我们表明对抗样本不易在 CNN 与 transformer 间迁移。基于此发现，我们分析由 CNN 与 transformer 组成的简单集成防御的安全性。通过创建一种新攻击——自注意力混合梯度攻击，我们表明此类集成在白盒对手下并不安全。然而在黑盒对手下，我们表明集成可在不牺牲干净准确率的同时实现前所未有的鲁棒性。本工作的分析使用了六类白盒攻击与两类黑盒攻击，研究涵盖在 CIFAR-10、CIFAR-100 与 ImageNet 上训练的多个 Vision Transformer、Big Transfer 模型与 CNN 架构。
引用
@article{arxiv.2104.02610,
title = {On the Robustness of Vision Transformers to Adversarial Examples},
author = {Kaleel Mahmood and Rigel Mahmood and Marten van Dijk},
journal= {arXiv preprint arXiv:2104.02610},
year = {2021}
}