Vision Transformers：真实对抗性补丁的威胁
计算机视觉与模式识别
2025-09-26 v1 人工智能
摘要
随着机器学习系统依赖力度的增加，其安全性已成为关键关切。规避攻击使对手能够操控 AI 系统的决策过程，从而可能导致安全漏洞或目标误分类。Vision Transformers (ViTs) 因相较于卷积神经网络 (CNNs) 的提升性能以及对对抗性扰动的鲁棒性，在现代机器学习中获得了显著关注。然而，ViTs 仍然容易受到规避攻击，尤其是对抗性补丁——用于操控 AI 分类系统的独特模式——的威胁。本文通过设计真实的对抗性补丁，在人员与非人员分类任务中引发误分类，采用 Creases Transformation (CT) 技术，加入类似穿戴服装时自然发生的细微几何扰动。本研究探讨了将 CNN 中使用的对抗攻击技术应用于 ViT 分类模型时的可传递性。实验在四个微调后的 ViT 模型上进行，针对二元人员分类任务，攻击成功率范围为 40.04%（google/vit-base-patch16-224-in21k）至 99.97%（facebook/dino-vitb16），其中 google/vit-base-patch16-224 达到 66.40%，facebook/dinov3-vitb16 达到 65.17%。这些结果确认了从 CNN 向 ViT 传递对抗性补丁的跨架构可传递性，预训练数据集规模和方法对模型抗攻击韧性影响显著。
引用
@article{arxiv.2509.21084,
title = {Vision Transformers: the threat of realistic adversarial patches},
author = {Kasper Cools and Clara Maathuis and Alexander M. van Oers and Claudia S. Hübner and Nikos Deligiannis and Marijke Vandewal and Geert De Cubber},
journal= {arXiv preprint arXiv:2509.21084},
year = {2025}
}
备注
Submitted to Sensors + Imaging; presented on 17th of September (Artificial Intelligence for Security and Defence Applications III)