下游迁移攻击：基于预训练视觉转换器的下游模型对抗攻击
计算机视觉与模式识别
2024-08-06 v1 人工智能
摘要
随着视觉转换器（ViT）和自监督学习（SSL）技术的发展，预训练的大型ViT已成为计算机视觉应用的新基石模型。然而，研究表明，像卷积神经网络（CNN）一样，ViT也容易受到对抗攻击，输入中的细微扰动会导致模型作出错误预测。本文研究了这种对抗漏洞从预训练ViT模型到下游任务的可迁移性。我们关注基于样本的迁移攻击，提出了一种新颖的攻击方法，称为下游迁移攻击（Downstream Transfer Attack，DTA）。对于给定的测试图像，DTA利用预训练ViT模型生成对抗样本，然后将其用于攻击在下游数据集上微调的模型。在攻击过程中，DTA识别并利用预训练模型中最易受攻击的层，受余弦相似度损失引导，以生成高度可迁移的攻击。通过在3种不同的预训练方法、3种不同的微调方案以及10个多样化的下游数据集上进行大量实验，我们表明DTA在平均攻击成功率（ASR）方面超过90%，显著超过现有方法。当使用对抗训练时，我们的方法生成的对抗样本可以显著提高模型对不同下游迁移攻击的鲁棒性。
引用
@article{arxiv.2408.01705,
title = {Downstream Transfer Attack: Adversarial Attacks on Downstream Models with Pre-trained Vision Transformers},
author = {Weijie Zheng and Xingjun Ma and Hanxun Huang and Zuxuan Wu and Yu-Gang Jiang},
journal= {arXiv preprint arXiv:2408.01705},
year = {2024}
}