请注视我：点积注意力对对抗补丁鲁棒性的危害
计算机视觉与模式识别
2022-03-28 v1
摘要
基于注意力（如视觉Transformer）的神经架构正在革新图像识别。其主要优势在于注意力允许对场景中各个部分进行联合推理。在本文中，我们展示了当面对对抗补丁攻击时，（缩放的）点积注意力的全局推理如何成为一个重大漏洞的来源。我们提供了对该漏洞的理论理解，并将其归因于 adversary 能够将受对抗补丁控制的所有查询的注意力误导至单一键令牌的能力。我们提出了用于制作针对该漏洞的对抗补丁的新型对抗目标。我们展示了所提出的补丁攻击在流行的图像分类（ViTs 和 DeiTs）和目标检测模型（DETR）上的有效性。我们发现，占据输入 0.5% 的对抗补丁可使 ViT 在 ImageNet 上的鲁棒准确率降至低至 0%，并将 DETR 在 MS COCO 上的 mAP 降至低于 3%。
引用
@article{arxiv.2203.13639,
title = {Give Me Your Attention: Dot-Product Attention Considered Harmful for Adversarial Patch Robustness},
author = {Giulio Lovisotto and Nicole Finnie and Mauricio Munoz and Chaithanya Kumar Mummadi and Jan Hendrik Metzen},
journal= {arXiv preprint arXiv:2203.13639},
year = {2022}
}
备注
to be published in IEEE/CVF Conference on Computer Vision and Pattern Recognition 2022, CVPR22