利用动态线索提升对抗迁移性
计算机视觉与模式识别
2023-04-06 v2 机器学习
摘要
对抗扰动在图像模型间的迁移性已被广泛研究。在此情形下，攻击从已知代理模型（如 ImageNet 训练模型）生成，并迁移以改变在图像数据集上训练的未知（黑盒）模型的决策。然而，由于图像模型内缺乏时间线索，从图像模型生成的攻击无法捕捉运动物体或变化场景的动态特性。这导致从表征丰富的图像模型（如监督视觉 Transformer（ViT）、自监督 ViT（如 DINO）和视觉-语言模型（如 CLIP））到黑盒视频模型的对抗攻击迁移性降低。本工作中，我们在不牺牲图像模型原有图像性能的前提下，于图像模型中引入动态线索。为此，我们通过冻结的图像模型优化时间提示以捕捉运动动态。我们的时间提示是可学习变换的结果，该变换允许在对抗攻击期间优化时间梯度以欺骗运动动态。具体而言，我们通过任务特定提示在同一源模型中引入空间（图像）和时间（视频）线索。攻击此类提示可最大化从图像到视频及图像到图像模型的对抗迁移性，且使用为图像模型设计的攻击。我们的攻击结果表明，攻击者无需专用架构（如分离时空注意力、3D 卷积或多视角卷积网络）来处理不同数据模态。图像模型是优化对抗攻击以随时间欺骗变化环境中黑盒模型的有效代理。代码见 https://bit.ly/3Xd9gRQ
引用
@article{arxiv.2302.12252,
title = {Boosting Adversarial Transferability using Dynamic Cues},
author = {Muzammal Naseer and Ahmad Mahmood and Salman Khan and Fahad Khan},
journal= {arXiv preprint arXiv:2302.12252},
year = {2023}
}
备注
International Conference on Learning Representations (ICLR'23), Code:https://bit.ly/3Xd9gRQ