GAMA：生成对抗多目标场景攻击
计算机视觉与模式识别
2022-10-18 v2
摘要
大多数构造对抗攻击的方法聚焦于具有单一主导物体的场景（例如来自ImageNet的图像）。另一方面，自然场景包含多个语义相关的主导物体。因此，探索超越单物体场景学习或攻击单物体受害分类器的攻击策略设计至关重要。由于其扰动对未知模型固有的强迁移性，本文提出首个利用生成模型对多目标场景进行对抗攻击的方法。为表示输入场景中不同物体间的关系，我们借助开源预训练视觉-语言模型CLIP（Contrastive Language-Image Pre-training，对比语言-图像预训练），意图利用语言空间与视觉空间中编码的语义。我们称此攻击方法为生成对抗多目标场景攻击（GAMA）。GAMA展示了将CLIP模型作为攻击者工具来训练针对多目标场景的强大扰动生成器的效用。利用联合图像-文本特征训练生成器，我们表明GAMA能够构造出强有力的可迁移扰动，以在各种攻击设置下欺骗受害分类器。例如，在黑盒设置中（攻击者的分类器架构和数据分布均与受害方不同），GAMA比最优生成方法多引发约16%的误分类。我们的代码可在此获取：https://abhishekaich27.github.io/gama.html
引用
@article{arxiv.2209.09502,
title = {GAMA: Generative Adversarial Multi-Object Scene Attacks},
author = {Abhishek Aich and Calvin-Khang Ta and Akash Gupta and Chengyu Song and Srikanth V. Krishnamurthy and M. Salman Asif and Amit K. Roy-Chowdhury},
journal= {arXiv preprint arXiv:2209.09502},
year = {2022}
}
备注
Accepted at NeurIPS 2022; First two authors contributed equally; Includes Supplementary Material