从频谱视角探索视觉 Transformer 的对抗鲁棒性
计算机视觉与模式识别
2023-12-18 v2
摘要
Vision Transformer 已成为图像分类任务的有力工具，其性能超越了卷积神经网络（CNNs）。近来，许多研究者试图理解 Transformer 对抗对抗攻击的鲁棒性。然而，以往研究仅关注空间域中的扰动。本文提出了一个附加视角，探索 Transformer 在频谱域中针对频率选择性扰动的对抗鲁棒性。为促进两域间比较，将一种攻击框架构建为在空间域和频谱域实现图像攻击的灵活工具。实验揭示，Transformer 更依赖相位和低频信息，这可能使其比 CNNs 更易受频率选择性攻击。本工作为 Transformer 的特性和对抗鲁棒性提供了新见解。
引用
@article{arxiv.2208.09602,
title = {Exploring Adversarial Robustness of Vision Transformers in the Spectral Perspective},
author = {Gihyun Kim and Juyeop Kim and Jong-Seok Lee},
journal= {arXiv preprint arXiv:2208.09602},
year = {2023}
}
备注
Accepted in IEEE/CVF Winter Conference on Applications of Computer Vision (WACV) 2024