面向视觉变换器的随机位置对抗补丁
计算机视觉与模式识别
2023-07-11 v1
摘要
先前的研究已表明视觉变换器对对抗补丁的脆弱性，但这些研究都依赖一个关键假设：攻击补丁必须与视觉变换器中用于线性投影的补丁完美对齐。由于这一严格要求，与在 CNN 上的有效性不同，在物理世界中部署针对视觉变换器的对抗补丁变得不切实际。本文提出一种生成对抗补丁（G-Patch）的新方法，其克服了对齐约束，允许该补丁在视场内的任意位置发起定向攻击。具体而言，我们不直接使用梯度优化补丁，而是采用类 GAN 结构来生成对抗补丁。我们的实验显示了该对抗补丁在视觉变换器上实现通用攻击的有效性，无论是在数字还是物理世界场景中。此外，进一步分析揭示生成的对抗补丁对亮度限制、颜色迁移和随机噪声具有鲁棒性。真实世界攻击实验验证了 G-Patch 即使在极具挑战的条件下也能发起鲁棒攻击的有效性。
引用
@article{arxiv.2307.04066,
title = {Random Position Adversarial Patch for Vision Transformers},
author = {Mingzhen Shao},
journal= {arXiv preprint arXiv:2307.04066},
year = {2023}
}